【Robots】Googleアーカイブが嫌い【NoArchive】

ミスしたら、直せばいいだけ。
保存されるのがイヤなら初めからアップロードしなければよいヨ。

保存ならぜんぜんいいけど、祭りになると手がつけられんのよ。
企業のミスだってそうでしょ。周りが静かに、運営元に連絡して
やりゃいいのに、かってにでかくして、被害者増やして、
ログを保存して骨の髄まで貪り祭る。
もう、ハイエナ系ちゃんねらーはうぜー。
まぁ、企業の場合の方が楽かもね。ある意味。
個人サイトがこれにあうとほんとつらいぜよ。
著作権関係はもうあきらめた。
警告しても次から次とでてくるから、もう放置だよ。

安心汁、喪前のサイトごとき誰も騒がんよ

ある程度ヒットするサイトつくってみ。
否が応でもここが（2ch）ネックになってくるから。
誰もが感じてる事だろう思うけど。

評判されるのが怖ければサイトなんて作りなさんなってことだ。

>>461
そりゃ厨が集まるようなサイトだからだろ

>>461
被害妄想ではなくて？
そもそもInternet Archiveを使ってまでミスを指摘して騷ぐ奴なんて見かけるか？
騷ぎ立てる馬鹿者どもは、Wayback Machineとか見たこともない無知な連中ではないのかな。

■日本人プログラマーよGoogleを攻略せよ　2003年09月24日 CNET Japan - 梅田望夫・英語で読むITトレンド： http://blog.cnetnetworks.jp/umeda/archives/000697.html

Google Code Jamというプログラミングコンテスト(CNET Japan速報記事「米グーグル：「プログラミングコンテスト出場者を求む」」をご参照)が10月から11月にかけて開かれる。
参加資格は18歳以上(世界中の誰でも)。予選はオンラインで、決勝(トップ25人)はシリコンバレーのGoogle本社で行なわれる。
腕自慢の日本人プログラマーたちには、この機会にぜひその実力を発揮してほしい。

Google Code Jamのファイナリストといえば、これから腕一本でプロとして生きていきたい若い人にとっての大きな勲章になる(中途半端な学歴なんかよりうんと価値がある)。
ファイナリストに残る日本人がいれば、日本人プログラマーの実力が世界でもトップレベルにあるという事実を、広くアピールできるだろう。
さて、コンテストの仕組みとスケジュールであるが、

参加者全員から500人にふるい落とす「Qualification Rounds」、
500人を250人に絞る「Online Elimination Rounds 1」、
250人から25人に落とす「Online Elimination Rounds 2」。
ここまではすべてオンラインなので、自宅から参加できる。
そして、ファイナリスト25人はGoogle本社での「Onsite Championship Round」に進むことができる。

★google code jam 公式サイト(excite翻訳)　http://www.excite.co.jp/world/url/body?wb_url=http%3A%2F%2Fwww.topcoder.com%2Fpl%2F%3F%26module%3DStatic%26d1%3Dgoogle%26d2%3Dgoogle_overview&wb_lp=ENJA&wb_dis=2

昔やっていたサイトがとあるサイトの劣化コピー品で、著作権所有者に怒られて閉鎖しました。（謝罪は行い、許しも頂けました）
そのサイトがWebArchiveにまだ残っていて、非常に困っています・・・

存在する事はWebArchiveが出てきたばかりのころに気付いていたのですが、
愚かな自分の愚行を見たくなく、精神的に逃げてしまい、削除依頼も出していませんでした。

何とか消してもらいたいのですが、
どの様なメールを出せば削除又は非公開にしてもらえるのでしょうか？
英語はほとんど解りません…

いくら罵倒されてもかまいません。どなたかご教授下さいお願いします。

死ねばいいんじゃん？




なんちゃって

メリケンが削除なんかするわけ無いだろ

参考になったので保守

http://recall.archive.org/

Internet Archiveの110億ページを検索できるサーチエンジン「Recall」
　http://internet.watch.impress.co.jp/cda/news/2003/09/08/377.html
Internet Archive を検索できる検索エンジン Recall ベータ版公開
　http://www.sem-research.jp/sem/search_engine_news/20030909001857.html

みなさん教えてください。
googleのキャッシュを手動で消そうと思い、ユーザ登録を行いました。
ユーザ登録のURLはこちらです。
http://services.google.com:8882/urlconsole/controller?cmd=reload&lastcmd=login

登録を行って１時間は経ったのはずですが、登録確認メールが来ません。
どなたか同じような現象や対処方法をご存知の方はいませんか？
よろしくです。

経ったのはず

自己レスですが解決しました

>>471-473
なんなのだ(w

robots.txtを置いてGoogleキャッシュ削除の手続きをしたのですが、
robots.txtの場所を入力して削除ボタンを押すと以下のようなメッセージが
あらわれました。

robots.txt ファイルの管轄外にある URL には、次の規則が適用されます。
DISALLOW /

これって正常に削除されているんですか？削除ステータスには何もあがってこない
のですが…。手順が間違っていたら教えてください。

archive.org に削除してもらおうと思ったら[email protected]
にメールすると戻ってきちゃう(つД｀) 　
[email protected]にメールでも大丈夫かな？

477 名前：Name_Not_Found[sage] 投稿日：04/03/25 21:03 ID:???
>>476

>>446で紹介されてる[email protected]に送ったら、対処して貰えたよ。


478 名前：476[sage] 投稿日：04/03/26 12:43 ID:???
>477
メール送ったら、すぐに返事がきて「削除したよ」とのことです。
確認したらきちんと削除してありました。

ありがとうございました。

保守

【衝撃！】消し去ったはずのWebページga保管する
http://pc2.2ch.net/hp/kako/1004/10041/1004183621.html

一度は公開したページを消したがるのは、卑怯者。男らしくないぞ。

消したがるのって腐女子が多い気がするから確かに男ではないのだろう

Web制作板とか言って厨多すぎですね

そうですね

<meta name="Robots" content="NoArchive">
これをファイルごとにかいてアップロードすればキャッシュが残らないんですか？

それともrobots.txtってファイル作って
↓をかいてうｐしておけばいいの？
User-agent: *
Disallow: /

俺の恥を残したくない。

最初作ったHPをローカルに置いてあるが3年前それを見て驚愕して
最初のページだけ見てエクスプローラーの×を押し目を伏せたことがある。
あれから3年・・・恐ろしくて開けないってのにそんなもんを未だに
全世界に向けて保存しとくなバカ

>>484
だったら最初から公開しなければよかったのに。
インターネットはもともと公の場だよ。

>>485
最初からすげー洗練されたページ作れりゃ誰も苦労はしない。
そんな事も感覚的にわからんのか？

洗練されてから公開すればいいんです。

>>484
わかるわかる。
何かものを作るってのは、そういうもんだ。

>>487
それだと一生何も物を作れない罠。

>>486
そんなことはわかっている。そんな問題じゃなくて
インターネットが本来どういう場所でどうあるべきなのか考えたほうがいい。
何もすげー洗練されたものを最初から作る必要はないが
公の場だということを踏まえて作るべきではあると思うよ

>>489
リアル消防に官が企画的に作り方教えるのが必修な今の世で
んな自分だけを正当化してる馬鹿丸出しな発言されてもなあ。

何も金もらって作ってるわけじゃねえし最初から洗練されたもの作れりゃ誰も
苦労しないってことがわかってないから>>485みたいなピンボケ発言できるんだよ。
まぁ煽り抜きで全部痛烈なるマジレスな。

>>489

http://homepage1.nifty.com/kanda/net42.htm

まぁもう少し世の中ってものを勉強してから出直して来い

後から恥ずかしいと文句言うなら公開するなってことでしょ。

>>492ってマジレスするのも呆れるほどマヌケなレスだな。
こういう曲げ厨の相手すんのってめんどくさい事この上ない。。。

技術用語「cache」が政治的な言葉として拡大利用される
http://d.hatena.ne.jp/HiromitsuTakagi/20040912#p1

検索・登録対象から除外しているディレクトリの特定のファイルを
検索・登録対象にする場合のrobots.txtの記述は下のような感じでOKですか？

User-Agent: *
Disallow: /example/
Allow: /example/test.html
（空行１行）

質問なのでageさして下さいね

理論上はそれでいいはずだけど
ロボットがAllow:に対応してるとは思わないほうがいいよ

>>497
レス�dクス

一晩待ってレスが無かったので、別スレで問合せた所、
AllowはGoogleに対しては、効果がない、との回答もらいました

Googleから回答が来ましたので、報告
---------------------------------------------------------------------------------------
Googleへご連絡いただきありがとうございました。
ロボットがクロールできるようにrobots.txtを作成するには、
以下のように「Allow:」で始まる記述を「Disallow:」で始まる記述の前に記載していただく必要があります。
---------------------------------------------------------------------------------------

User-Agent: *
Allow: /example/test.html
Disallow: /example/
（空行１行）

上のような記述であれば、OKみたいです

archiveに削除依頼したら
担当した人によって対応の仕方がちがうのか
本当に貴方のサイトなのか？という返事が返ってきた・・・
サーバーのメルアドで丁寧な英語メールを出したのに・・・
少しムッとしたがドメインとサーバー使用の領収書を添付して
きつーい言葉で削除しろともう一度メールしたら朝一で消されていた

強気の方が対応が早いのか？

499>>（空白1行）には何の意味があるのですか・・・？

>>501
何も書かない行を1行入れておくって意味でしょ。

Recallアクセスできなくなってる

Recallはよく落ちてるよ

>>483
要するに、ＭＥＴＡに
meta name="Robots" content="NoArchive"
とさえ書いておけばgoogleだろうがweb archiveだろうが絶対にＨＰを保存されないわけだ。
アーカイブアーカイブって言っても、それほど怖くないじゃん。

なんで怖がるのか、何故そんなに過去を湮滅したがるのか、不可解。

>>505
ネイバーにはアーカイブされる予感

>>505
>>451

知識無かったらまずいね。
これ、意外と知られてない事実じゃない？
中学生の頃遊びで作ったＨＰがネイバーなどに知らないうちに一字一句年代順に完璧にコピーされ
半永久的に出回り続ける・・・
更新しようが何しようが、とにかくたったの一瞬でもネット上に情報が出回ったら取り消す事は出来ない。

著作権法を盾に禁止しようにも、ネットは世界中と繋がっているから、たとえ日本国内で制限しても
法律なんか知ったこっちゃ無いような国がゴロゴロいるので不可能。
その著作権法ですら現行のままではグレーゾーン。

最初からそんなものを出すなと言われそうだが、誰しもただの日記にまで一字一句気を付けて書く事等できないわけで。
現実ではそんなことを知らされずにＨＰを作ってしまった人はこのスレッドにもたくさんいるが
どうしようもない…

web製作者にこのことをちゃんと知らせる決まりを作った方がいいのでは。
それがされてないのなら、「気軽に」ＨＰを作ってみよう！なんて番組や雑誌、プロバイダは詐欺と一緒だよ。
ＨＰを作ることは、未来に対して相当のリスクを背負っている事を実感する。

もしこのスレにそうした運動（ＨＰ製作など）が出来る人がいれば協力してほしい。
少なくともrobots.textの作り方などは詳しく書いておくべき。

最初からそんなものを出すな。何でそんなに過去を消したがるのかね。

>>509
がんばってくださいね（ﾌﾟｹﾞﾗ

間違っていようが入るまいが知りません自己責任で

>>451
例えばどんなロボット君ですか？

で、どのタグが正しいの？
Googlebot？ Robots？

>>509
Archive.orgの問題に関しては、一昔前に割とあちこちで議論になってたけど、
ウェブサイト作成初心者の目に触れていたかどうかは疑問だな。

ネットリテラシーをちゃんと教えずに、便利さばかりを強調する商業出版物は
淘汰されていかなくちゃな。
ただ現在の時点で、漠然と「なんとなくインターネットには怖い側面もあるらしい」ってことは
印象としてネットに疎い人にも伝わっていると思うから、むしろそういうことをちゃんと記事に
入れ込めるほうが、信頼度は上がると思うよな。

国会図書館、webサイト保存を06年から開始
http://news19.2ch.net/test/read.cgi/newsplus/1102405883/l50

<meta name="robots" content="noindex,nofollow,noarchive">
<meta name="googlebot" content="noindex,nofollow,noarchive">

metaタグ入れたけど
ｷｬｯｼｭは残らないものの検索にはひっかかる

何も知らない頃に作ったぼくのほおむぺえじを卑怯にもｺｿｰﾘ保存しとくと言う
卑屈且つ姑息な手段が許せん。今ならいくらでもかかってこい状態だがなｗ

卑屈とか姑息とか意味解って使ってるかﾁﾐｰ?

姑息ってのは大半が間違って使っていた＆覚えていたってのが
最近のニュースであったな

>>520-521
融通が利かない

融通などきかせるな

>>515
まったくの正論だ。

で、さしあたってはweb製作板あたりに立てるのが一番だと思うが
どういうタイトルにするかなど難しい点が多い。
http://pc5.2ch.net/hp/

>>509
洩れ自身は、Net上から｢日記コーナー｣とかｂぉｇとか、役に立たんものは消えて無くなれとか思ってるけど、
現状社会は逆に動いてるでしょ。

そも、Archiveの役割がよく解らん。
Net上の物を記録してどうしようってのよ？
後で恥かしい文章やFileを見せて人を脅迫しようってのか？

多人数が必要だと思う情報なんて、
収集業者が無理しなくても、誰かが保存して役立てようとするか商売に使うもんだろ。

著作者が収集回避出来ない仕組みなんて論外だな。

>>525
23世紀くらいに「20世紀のインターネット」なんていう
展示会をやるときにでも使うんでしょ。アーカイブっていうくらいだから。
もう著作者は死んでるだろうから、問題ﾅｼです。

博物館に江戸時代の絵巻が展示されていて、
みせものにされたり、研究材料に使われたりするのと同じ感覚かと。

>>526
それが「未来に対しての無限大のリスク」の
ほんの一部だね。

これでも読めや。
http://www.ndl.go.jp/jp/aboutus/preservation.html

>>484タソは、同じファイル名で別の内容もう一回うpすればいいんじゃ？

http://www.toonippo.co.jp/news_too/nto2003/0103/nto0103_4.html
のソースは、
<meta name="robots" content="noindex,nofollow,noarchive">
<meta name="googlebot" content="noindex,nofollow,noarchive">
になってるから、これが正しい記述＆最強の回避方法？

<meta name="robots" content="noindex,nofollow">
ならしょっちゅう見るが。

グーグルはじいたら、訪れるやついなくなるぜ。

身内だけにしか知られたくない場合それでいいんじゃない？
グーグル弾き＋パスワード制で。

>>530
nameは大文字が正しいんじゃないの？小文字でもOKなのは拡大解釈してもらえるだけで。
contentは NONE ALL NOINDEX INDEX NOFOLLOW FOLLOW を , で区切って記述。
NONEはNOINDEX,NOFOLLOWと、ALLはINDEX,FOLLOWと等価。
contentのNOARCHIVEはアーカイブするロボットの勝手な拡張。
あとどっかのNから始まるロボットはDoSアタックしてくるから
パケットフィルタレベルで拒否ｗ

しかしrobotstxt.org的にはcase-insensitiveなんだよな

>>533
要するに何なんだ？
そんなに小難しく説明するより、あんたが
模範的な記述をここに書いた方が速いぞ

<META NAME="robots" CONTENT="noindex,nofollow,noarchive">
<META NAME="googlebot" CONTENT="noindex,nofollow,noarchive">

↑これが模範例じゃないかな？


>>533の日本語を正確に再現すると
<META NAME="robots" CONTENT="NONE,ALL,NOINDEX,INDEX,NOFOLLOW,FOLLOW">
ってことだが。矛盾しちゃう。
多分、↓こうしろということをいいたのだろうけど。

<META NAME="robots" CONTENT="NONE,NOARCHIVE">

権威の論証みたいになっちゃうけど、
プロの人でも小文字で
メタを記述してるから小文字でもいいんじゃないの？
拡大解釈してもらえるなら結局はいっしょなわけだし。
http://www.wdd.jp/index.html

content内を大文字が正解

<meta name="robots" content="NOINDEX,NOFOLLOW">

NOINDEX,NOFOLLOWは大文字のほうがいいんだっけか

実際には小文字でも通用するけどね

大文字小文字を間違えるとまずいのはＤＴＤ宣言。
それ以外はハッキリ言ってどちらもでいい。
作成ソフトやエディタでも小文字で吐くやつもあれば大文字で吐くやつもあるし。

>>541　ＸＨＴＭＬではタグは小文字と決まってるんだが。

弾きたい人は弾いておいたほうがいいかもね。
202.217.35.12
ndl-japan-research-robot-1.0 (http://www.ndl.go.jp/jp/aboutus/bulkresearch20
04/index.html)(http://e-public.nttdata.co.jp/bulkresearch2004/index.html)

　　　　　　　　　　　　

　　　　

保守

どちらの書き方が正しいのでしょうか？

�@----------------------------
User-agent: searchpreview
User-Agent: ia_archiver
Disallow: /
�A----------------------------
User-Agent: ia_archiver
Disallow: /
User-agent: searchpreview
Disallow: /

googleで検索すると、�Aは効果がないらしいとの事ですが
ある複数のロボットを指定したい場合どちらが効果があるのでしょうか
よろしくお願いします

質問なら上げてみてはどうか

>>547
�Aの方法の場合、間に一行開けると良いと聞いた。こういう風に

User-Agent: ia_archiver
Disallow: /

User-agent: searchpreview
Disallow: /


で、やってみたが効果はなかった。
�@はやったことはない。
grub-clientも俺は弾きたい。
三つ弾きたい。どうやったものか。

発想を変えてみる。
Googleとslurpだけ許可したいとき。

User-Agent: *
Disallow: /

User-Agent: Googlebot
Disallow: /hoge/

User-Agent: slurp
Disallow: /hoge/

/hoge/ は存在しないディレクトリを指定する。

Googleから削除されない・・

Google

削除要請出して、削除完了　となっているのに未だにインデックスされてる。
迷惑この上なし。

不人気サイトは掲載されないし、人気サイトは削除してくれっつっても掲載
される。削除依頼にも応じない。なんか、上場してからおかしくなってきたね。

>>552
うーん。
robots.txtちゃんと設定してる？

削除完了　となっている

>>553

metaタグに noindex noarchive 入れてる。そして完了となった。

>>555
とりあえず、もう2ヶ月ほどまってみなよ。
それで駄目なら、自動 URL 削除システムとやらを使って消しちゃおう。

>>556

その自動URL削除システムを使って削除したんですよ。
そして、削除完了　とステータスがなっているにも関わらず未だに掲載中。

さらに、未だに掲載されているのでもう一回削除システムに削除依頼だしたら
受け付けてくれなかった。

それなりに人気があるサイトなんだけど、人気サイトは削除しませんってこと
なんだろうか。

逆に掲載してほしいのにいつまでたっても掲載してくれないサイトもあるし・・・

>>557
あれは確か、受け付けてから実際に消えるまで、多少時間がかかるよ。

質問なのであげさせて下さい。
Internet Archiveに削除依頼を出したのですが
返信に そのHPにあなたの使ってるメアドを載せてくれ
というような内容がありました。
つまり本人確認をしたいという感じの内容でした。

ですがそのHPはもうアカウントも削除していて
現在は存在してないのでできません。他の方法を
ぐぐっても削除に成功した方の例は皆現在も
そのままHPを運営している方々達の話ばかりでした。
本人確認ができないと却下されそうな感じの内容
だったので返信に困っています。

今は存在しない過去のサイトの削除依頼に成功した方
いらっしゃいましたらアドバイスお願いします。

なんでそんなに過去を消したがるのかねえ。

>>559
相手に聞いてみたら？

>>557,558
即、消すなら、robots.txtが必要じゃないかな。
ほら、

注意：　緊急を要し、Google が次回サイトをクロールするまで待てない場合は、
自動 URL 削除システムをご使用ください。 この自動プロセスが機能するためには、
Web マスターがまず robots.txt を作成して問題のサイトに配置する必要があります。

って書いてある。

ただ、これ使うと使った記録がいつまでも残りやがる。

>>559
前に同じ状況で依頼した事あるけど、すぐ消してくれたよ。
メアドも何も聞かれなかった。
鯖移転したのでrobots.txt置けない（サイト弄れない）とか書いてメールした気がする。

>564
そうなんですか、そういう事例聞けると励みになります（ＴДＴ）
（何で自分の時は身元証明求められるんだ…orz）
本人証明できる手段はないけど消してくれというような文を
とりあえず再度送ってはいるのですが
承諾されるのかどうか返事待ちの状態です。
(1回目の依頼の時すぐ返信来たのに2回目は中々来ない)

あと無断使用禁止の注意文を載せていたページも
キャッシュされていたのでそのページと文を主張して
前から意思表示している事も伝えました。
これでなんとかなればいいのですが。

Googleはｶｽﾗｯｸに通報されてください

今グーグルって死んでる？
アクセスできないのだけれども。

URL自動削除システムで削除完了となっているにも関わらずしつこく掲載。。
つまり人気サイトにボイコットされるのを怖がっている検索エンジン各社。

不人気サイトは掲載すらしない、人気サイトは削除してくれない。お行儀悪い！

不人気サイトでも質が高ければそのうち人気サイトになるんだから、掲載してやれよ。
人気サイトでも、これ以上人を増やしたくないサイトもあるんだから、削除してやれよ。

>>562

robot.txtがなくても、metaタグに記載すれば削除する　と書いてある。
実際に普通のサイトだとすぐにそれでも削除される。

今回分かったのは人気サイトは削除依頼をして、ステータスが{削除完了}
となっても人気サイトは削除されないということ。

＞robots.txtが必要
metaタグに記入してURL削除システムで申請。それでいいんだって。


＞あれは確か、受け付けてから実際に消えるまで、多少時間がかかるよ。
だからぁ、いつまで経っても消えない。以前はすぐに消えたのに。。

559＝565です。
一応報告。無事今日消されました。
英語は苦手だったから神経使って凄い疲れたorz

あったお(ﾟρﾟ)

>Internet Archiveに削除依頼を出したのですが
>返信に そのHPにあなたの使ってるメアドを載せてくれ
>というような内容がありました。
>つまり本人確認をしたいという感じの内容でした。

ｱｰｶｲﾌﾞしえっ

誤爆すみません

どこの誤爆かわかった

テニスの王子様サークルヲチスレ
http://aa5.2ch.net/test/read.cgi/nanmin/1112846205/424

俺もGoogleから削除されなくて困ってる。
全くもって誰も訪れないファイルなんだけど。

もう最初の申請してから半年経つのに。

http://www.asahi.com/national/update/0501/TKY200504300227.html
>国会図書館、ネット情報収集へ　保存して一般公開
>収集対象とするのは、日本を示す「．ｊｐ」が末尾に付くウェブサイトなど日本発の情報のうち、
>一般に公開されていて、だれでも入手できるもの。メールやインターネット電話、放送などは該当せず、
>パスワードなどで管理された制限アクセス情報なども対象外だ。

orgなうちのサイトは対象外か

.npは？ｗ

.npは終了
http://www.itmedia.co.jp/news/articles/0504/26/news034.html

>>578
IPアドレスがJPNIC管理のサイトも対象
http://www.ndl.go.jp/jp/aboutus/internet_view.html
> ◎「日本国内において発信された」とは、 JPドメインを持つサイト及びJPNIC管理の
> IPアドレスを持つサイトから発信されたものとします。

Googleって何で糞なんだ？

Googleで違法ファイルはバンバンDLできるし。どおりで
Google使ってる奴って厨だらけなんだな

国会図書館、情報保存はお堅いサイト限定　反対多く転換
http://www.asahi.com/national/update/0630/TKY200506290346.html
>「ｊｐ」の前に「ｇｏ」「ｌｇ」「ａｃ」「ｅｄ」「ｏｒ」がつくサイトのみを収集対象と
>することにした。

>>583
フェアユース規定がある米国とない日本の越えられない壁だな

>>583
フェアユース規定がある米国とない日本の越えられない壁だな

俺のバカサイトは収集対象なんだな

過去にも同じ内容のｶｷｺがありますが、質問させてください。
Internet Archiveの削除依頼の件で困っています。
依頼をメールで出したのですが、一向に反応がありません。
通常はどのくらいで削除してもらえるのでしょう…。

>>587
削除依頼専用フォームから出したか？

無料鯖だと、ろくに.htaccessもrobots.txtも置けないから、はじくの難しいんだよね。
特にweb.archive.orgが一番困る。

漏れは今のところ、metaタグはデフォとして
・ハイパーリンクに、flashやjsを使う
・サイト内にフレームなどを多用して、なるべく1枚のhtmlにすべての情報をおかないようにする(収集確率が少し減る?)
とかやって、少しでも収集確率減らそうとあがいてるけど、他に何か良い手はある?

>>589
有料鯖に引っ越す

ｧ　 ∧＿∧　ｧ,､
　,､'` （　´∀｀）　,､'`
　 '` 　( ⊃ ⊂)　　'`
　　 　 ∧＿∧　ミ　ｷﾞｬｰｯﾊｯﾊｯﾊｯ！ >>590め、何言ってんだかー！！
　o/⌒（. ;´∀｀）つ
　 と＿）__つノ　　☆　ﾊﾞﾝﾊﾞﾝ

web.archive.orzは文章中のURLっぽい文字列も拾うからなぁ
location.href='http://www.2ch.net/';
程度じゃ無意味。

>>587
すぐやってもらえたのは3年前位までだよ。
その時もlennyﾀﾝは協力してくれなくて悲しいよって反応だったし、
頼めば消してもらえると思われてることを知っちゃったみたいだね。

ちゃんと探せば無料鯖で.htaccess使えるところあるし

最近はサブドメイン仕様でrobots.txt置ける無料鯖も多いし

Googleにrobots.txtを使ったURL削除申請をした後で、そのURLを復活させるのはどうすればいいのだろーか。。。
いったん削除申請して完了されてしまうと、金輪際それを含むURLはヒットしないのかなぁ。。。orz...

>>596
robots.txtを戻してURL申請してみなされ

>>597
状況かわんねっす。。。

180日間の喪があけるのを待つしかないのかなぁ。。。

URLの削除の申請から180日経過してもまったく状況が変わりません。
URLの削除のところにログオンしてもステータスは「完了」のまま。
2003年のキャッシュの削除の申請については「期限切れ」になっているんだけど。

Googleの問い合わせられるフォームやらメールやらは英文も含めて全部問い合わせたけど、音沙汰無し。

まあ、Yahoo!やらMSNやらでは普通に検索ヒットするから別にいいんだけど、
今の状態だとGoogle AdSenseが使えないというのがなかなか痛い。。。

この件ですが、何日か遅れて期限切れ扱いとなり、無事表示されるようになりました。

ただ、Googleから「こっちでサーチしたら引っ掛かるよん」という返信メールがあって確認したらそうなっていたので、
ひょっとしたらGoogle側で何かダマテンで作業をしてくれて、そのお蔭で復活したのかも知れません。

作成時にrobots.txtをおいて
metaタグまで記入したのにグーグルから検索できたんだけどどういうこと？

スペルミスとか。

web.archive.orgやalexaでhomepage2.nifty.comなど一部のドメインがブロックされてる模様。

blocked site error

　　　　　　　　　,.　-─‐-　､
　 　 　 　 　,　'´　　　　　　　 ヽ
　 　 　　　/　　／ヽ＼　　　　　ヽ
　　　　　/　　/　　 `､ ＼ ヽ　　　ﾞ,
　 　 　 .i　　 i　　　　 ヽ､｀ヽ､ ＼　',
　　　　 i　　 !.　 ＝=､　　｀ヽ、｀ヽ、!
　　　　 |　　l丁￣￣｀i-f´￣｀ヽ､ヽ !
　　　　 |　　!.ヽ　--‐'　 `ー‐一1ヽi
　　　　 |　　i　　　　 i　　丶　　 !　,'
　 　 　　!　　!　　　　｀ｰ '"　　 ,'　i 　　　　　ホームページのダウンロードや印刷は禁止します
　　　　　i　 /ヽ　　 　ｰ一'　　/ヽ､!　　　　　　　アーカイブも禁止します
　 　 　　 V　　 ＼ ,､ 　 　 .／/　ヽ ､_
　 .r'"´￣ |.　　 ／,へっ‐'"　/　　i　　｀`'‐-　､
　/　　／　|　／ く★へ　,. へ、.　l 　 　 　　　 ヽ
./　　　⌒　/　　　　 ／｀)　　　ヽ/　　　　　　　　i

dobai

あどふぃ
武運

このスレ初めて読んだ。

まあWebArchiveだとかGoogleCacheだとか嫌がる人はいるだろうなとは想像できるけど、
ネットに公開している以上そんなの気にしていられない、というのが個人的感想。

はっきり言って、世の中の大半の人にとっては
俺たちが過去にどんなサイトを作っていたのかなんて全く興味ないわけで。
なんだかとっても自意識過剰っていう感じ。

>>608
同意。問題は著作権なんだよな。
転載みたいなものだし…

>>609
URLで出所が明示されているわけだし転載じゃなくて引用でしょ。
引用は著作権的にOKだから問題ないと思うけど。

自分のサイト内の該当ページを既に削除していたとしても、
検索エンジンに該当ページがキャッシュとして残っていた場合、
そのキャッシュが原因で企業からヤバイ警告とか来ますか？

Googleのキャッシュはまだしも、Webarchiveみたいに自分が削除しても半永久的に残るのは嫌。

>>610
日本の法律での引用の条件を満たさないので、引用とはみなされない。
出典の明示だけじゃなくていろいろ条件があるから調べてみれ。

普通に考えれば、まるごと転載して「引用です」なんて通るわけがないわな。

>>610
あれは、引用ではなくて「まるごと転載」…。
転載も出典を表示してれば問題ない…ということはない。

613も言ってるように、引用と転載はまるっきり違う。

Yahoo!検索の[ウェブ検索]で利用しているインデックスクローラー（検索エンジン用ロボット）は
Yahoo! Inc.が管理、運営しています。なお、Yahoo! JAPANでは個別のサイトや検索結果に表示
される内容について削除のご依頼をいただいても、依頼内容の正当性や、削除権限の有無を確か
めることができないため、ご依頼を受け付けておりません。
http://help.yahoo.co.jp/help/jp/search/indexing/indexing-12.html

ってあるんだけど404を返すdeadlinkについては正当性も糞もないよね
プライバシー上の理由で早急に削除しないといけない場合もあるのに
これはきつい

キャッシュ（アーカイブ=書庫）って何のためにあるの？
リソースが削除されても見れるように？

そうそう……
でも一応「次回のクロール時にnot foundなら削除」とは書いてあるのね
で、いつ次回のクロールが来るかはyahooが決めるわけ
これっておかしくない？
その文書の著作権者がcacheも管理すべき

ファイル自体を消すより内容を空白に書き換えたほうが
実質的に速くキャッシュから消せるということ？

全然違う

昔作っていたHPがググルのキャッシュに残っている事を知り、
今日の朝、緊急で削除申請したらキャッシュは無事削除された・・・
でもまだ検索結果にページタイトルと以前ページに書いてた文章が表示されるんだよね
この表示結果も削除したいんだけどどうすればいいの？

もっと待て。
それから、過去を隠すな、女々しいゾ。

女々しいとかそういう問題じゃないだろ？
なんでそういう根性論精神論に持ってく馬鹿ばっかなんだろう
やってらんないね

冗談のわからん奴よな。>>75既出。

既出ってか自分の書き込みだろｗ

>>624　いまさら何を。女々しいぞ、ト。

差別語を連呼

キ○ガイさんはスルー。
議論もできない腰抜けか
どっちが女々しいんだか

>>615
告訴しろ。前例を作るのだ。

でらえもん調査局の話しようぜ

　　　　　　　　　,.　-─‐-　､
　 　 　 　 　,　'´　　　　　　　 ヽ
　 　 　　　/　　／ヽ＼　　　　　ヽ
　　　　　/　　/　　 `､ ＼ ヽ　　　ﾞ,
　 　 　 .i　　 i　　　　 ヽ､｀ヽ､ ＼　',
　　　　 i　　 !.　 ＝=､　　｀ヽ、｀ヽ、!
　　　　 |　　l丁￣￣｀i-f´￣｀ヽ､ヽ !
　　　　 |　　!.ヽ　--‐'　 `ー‐一1ヽi
　　　　 |　　i　　　　 i　　丶　　 !　,'
　 　 　　!　　!　　　　｀ｰ '"　　 ,'　i 　　　　　ホームページのダウンロードや印刷は禁止します
　　　　　i　 /ヽ　　 　ｰ一'　　/ヽ､!　　　　　　　アーカイブも禁止します
　 　 　　 V　　 ＼ ,､ 　 　 .／/　ヽ ､_　　　　　　　法律は糞くらえだ俺が嫌だと言っている
　 .r'"´￣ |.　　 ／,へっ‐'"　/　　i　　｀`'‐-　､
　/　　／　|　／ く★へ　,. へ、.　l 　 　 　　　 ヽ
./　　　⌒　/　　　　 ／｀)　　　ヽ/　　　　　　　　i

アーカイブ使えばフラッシュ取り放題だぜー

ぅーん…。
ずっとこのままなのかな？
嫌って思う人の方が多いんだったら、
アドレス入れて削除ボタン押したら削除できるように…

とか、しなきゃいけなくなると思うんだけどなぁ〜…

Archive.orgとかの存在を知ってる人が増えるほど…
読まれたくない・読まれて嫌な思いをした…って人も増えるし…

「消したくなったら消せるから」って気持ちだって、大事にしてあげよう？

＞嫌って思う人の方が多いんだったら、
＞アドレス入れて削除ボタン押したら削除できるように…

はっきり言って気にしてる奴は圧倒的に少ないと思われ。
ネットに公開する時点でそんなの気にしてられん。

まあ、

＞「消したくなったら消せるから」って気持ちだって、大事にしてあげよう？

この意見には賛成だけどね。
保存されない自由というのもあって然るべきだとは思う。

ただしそうなると本人の確認手段が必要になるね。
サイトを持ってる段階ではその主張もできるけど(GoogleSitemapのようなチェックで)
サイトを消した後での本人確認は非常に難しいわけで。

それらを考えていくと結局、
archiveとしてとっておくメリット＞archiveを消すメリット
になってしまうんだと思うよ。企業側からすれば。

ドバイ

載せたなら消すな
消すなら載せるな

Wayback Machine　止まってる？

たぶん
使えないと不便

Page not found
We’re sorry, the page you have requested is not available.

やはりそうか
早く復旧しないかな

>>636-639
復活したようだ

>>640
見られるページと見られないページに分かれてないか？
見られるページも文字化けばかりだし見られないページは開いても真っ白だし

文字化けは、エンコードを日本語にしてやれば読めた。
しかし、たしかに前はそんな手間は要らなかったな。

Robots.txt置いてもう２週間経つけどWayback Machineからまだ消えない・・・
８週間以内に本当に消えますか？

載せたなら消すな
消すなら載せるな

今、Wayback Machine 止まっている？
しれとも他の人はアクセスできてる？

今、止まってますね。“HTTP 400”になるよ。
http://web.archive.org/collections/web/advanced.html

英語できる人強制的にUTF-8にすんなってフォーラムに書いてきて

Googleのキャッシュ死んでね？

【ネット】すでに閉鎖された貴重なホームページ、国会図書館で10日から利用可能に
http://news19.2ch.net/test/read.cgi/newsplus/1152443555/

>>642
リンク開く度に文字化けするね

webarchive見られないぞ！？止まってんの？？？

最近調子悪いな

そうなんだ。そのまま消滅してくれても構わんっていうか、消えて
しまえと思うことが時々あるけどなｗ

誰かgoogleに有用な検索ワード入れてコピって
このページはグーグルのキャッシュのキャッシュです。
っていうのやらないか？

最近のgoogleは広告多いし、検索精度落ちてる気がする。

>>654
「googleは広告多いし、検索精度落ちてる」以上、そのキャッシュもいずれ
精度が落ちるね。
なので、グーグルのキャッシュのキャッシュのキャッシュが必要になる罠。

Google検索っておかしくないか。。。ｗ
「php」で検索してすぐに”国境なき医師団日本”だの”FM802”ってｗ

なんかGoogleからメールが来た。
robots.txtがあるからクロールできないので、クロールできるように書き換えてくれって。
いや、クロールされたくないからrobots.txt置いてるんだけど。

まじで？Googleからそんなメールが本当に来るんか・・・？詳しくきぼん

件名： Google インデックス登録お願い

こんにちは、お客様のサーバーでは robots.txt ファイルを使って検索エンジン
からのアクセスを制御しているため、現在、Google では、お客様のサイトをク
ロールすることができません。 そのため、携帯電話をお使いのユーザーが、
Google を使ってお客様のサイトを見つけることができません。 インターネット
ユーザーの大多数は Google を使用して検索を行っており、検索エンジンからの
参照のうち 50 % 以上は Google からの参照です。 Google の使命は、Google
独自の検索エンジンにより、世界中の情報へのアクセスを可能にし、ウェブ上の
検索経験をより実りのあるものにすることです。 Google では、ユーザーや顧客
がお客様のサイトを簡単に検索できるようお客様のサイト
xxx.xxx.co.jp を Google のインデックスに登録したいと考えて
おります。 Google からのクロールを許可していただける場合は、robots.txt
ファイルに次の行を追加していただくようお願いいたします。 User-agent:
GooglebotDisallow: クロールを許可していていただいてから 4 〜 6 週間後に、
Google のインデックスにお客様のサイトが登録されます。 Google のインデッ
クスにお客様のサイトを登録する方法の詳細については、下記の URL をご覧く
ださい。http://www.google.co.jp/webmasters/. Google がお客様のサイトをよ
り効率良くクロールするようにするには、サイトマップを作成することをお勧め
します。 詳細については、下記の URL をご覧ください。
http://www.google.com/webmasters/sitemaps/docs/ja/about.html今後とも
Google をよろしくお願いいたします。今後、Google インデックスへの登録に関
するメールが不要な場合は、メールにてご連絡ください。お客様のメール アド
レスを Google のメーリング リストより削除いたします。ChrisGoogle クロー
ラーチーム



このメールアドレスは、以前サイトの削除依頼（インデックスからの）を
したときに使ったもので、その時リストに登録されたのかも。
ただ、依頼したサイトと今回のサイトは違うところなんだが。
サイトもメールアドレスもinfoseekのものなので、そっち絡みかもしれん。

ひぇ〜 検索される価値のあるサイトってことか…

ネタだよ、ネタ。
今は、英語による回答のみだよ。

Googleは高度な機械化がモットーなのに、そんなメールを送信してるとでも？

ノリ悪いなｗ

自分もそのメール来たよ。移転跡地とはいえクロールしてほしくないから
放置してたら、返事の催促メールみたいなのも来た。
今回メールの対象になってるアドレスがinfoseekなんだが、やっぱり
>>659の言うようにinfoseek関連なんだろうかね？

このスレにとってある意味最悪の嫌がらせ
ttp://megalodon.jp/?url=http://pc8.2ch.net/test/read.cgi/hp/1026114886/&date=20061014192427

>>587
Internet Archiveに何としても削除させたい奴は行動を取れ。
うちは口調の厳しい英文で数回抗議して削除させた。
90年代の、METAタグでアーカイブ除けをしてなかった頃のページをな。
相手は横柄な外人だ。
生易しい「お願い」では無視される。
多少厳しい口調で抗議しても一回目は
「ようジャップお前本当にそのサイトの管理人か？」とからかわんばかりの返事が来た。
うちは昔から無断転載禁止と明記していたので
「何勝手に載せてんだこれが読めねぇのかゴルァさっさと消せ」という意味の抗議文を送ってやっと削除された。

>>666
よっぽど残されてほしくないコンテンツ持ってたんだな。

>>1-665
みんなで集団突撃してウェブ魚拓潰そう！

>>630
ネタレスなんだけどスレ住人の総意はマジそれだよな

魚拓ってBasic認証下のページって取れるの？

age

検索はして欲しいんだけどキャッシュは表示しないで欲しいんだ
robots.txtでNOARCHIVEと同等の設定ってできないのかな

　　　　　　　　　,.　-─‐-　､
　 　 　 　 　,　'´　　　　　　　 ヽ
　 　 　　　/　　／ヽ＼　　　　　ヽ
　　　　　/　　/　　 `､ ＼ ヽ　　　ﾞ,
　 　 　 .i　　 i　　　　 ヽ､｀ヽ､ ＼　',
　　　　 i　　 !.　 ＝=､　　｀ヽ、｀ヽ、!
　　　　 |　　l丁￣￣｀i-f´￣｀ヽ､ヽ !
　　　　 |　　!.ヽ　--‐'　 `ー‐一1ヽi
　　　　 |　　i　　　　 i　　丶　　 !　,'
　 　 　　!　　!　　　　｀ｰ '"　　 ,'　i 　　　　　ホームページのダウンロードや印刷は禁止します
　　　　　i　 /ヽ　　 　ｰ一'　　/ヽ､!　　　　　　　アーカイブも禁止します
　 　 　　 V　　 ＼ ,､ 　 　 .／/　ヽ ､_　　　　　　　法律は糞くらえだ俺が嫌だと言っている
　 .r'"´￣ |.　　 ／,へっ‐'"　/　　i　　｀`'‐-　､
　/　　／　|　／ く★へ　,. へ、.　l 　 　 　　　 ヽ
./　　　⌒　/　　　　 ／｀)　　　ヽ/　　　　　　　　i

>>669
htaccessが効いていたので、多分取れないとオモ。

<meta name=”robots” content=”noindex,nofollow”>

<meta name="Robots" content="NoArchive">

ここでは下段のメタタグが上げられていますが、
上段のタグとの違いは何でしょうか。

http://www.archive.org/web/web.php
また、上記でアーカイブされちゃっているページを削除願う方法を
どなたか伝授下さい。

>>674
別スレに書いてあるよ

InternetArchiveにしつこくメールしてやっと消してもらえた。
>>666を参考に毅然と。
OK Robots.txt置いてありますねーわかりましたそのうち消しますね
的な返事が来て、でもいつまで経っても消されないからまたメール送る
→そのうち消しますねーという返事→メール送る→返事→・・・
を４，５回繰り返した。
[email protected] じゃなくて [email protected] にメールしたら
やっと消してもらえるっぽい対応の返事が来た
（でも送るアドレス変えたことが本当に対応してもらえるきっかけだったかどうかはわからない）
>>666みたいなの、そのサイトの管理人だと証明しろっていう内容
証明方法は自鯖にそのサイトの管理人でありArchiveから早く削除しろってtxtをうｐ
今は解約しちゃってもううｐできない古いサイトも一緒に消してもらいたかったんで
「解約しちゃったから証明文うｐできないけど、古いサイトに書いてある管理人名も
　今のサイトの管理人名も一緒でしょ」って説明したらわかってもらえたらしく削除成功

>>676
日本語でおｋ？

なんでそんなに過去を消したがるのか、理解に苦しむ。

>>677
英語で。メール内容はこんなかんじのを送りつけた
翻訳エンジンで英語にしたものそのまま貼り付けただけだけど

私のサイトデータを消しなさい
二度とクロールするな
Robots.txtを置いたから早く見ろ
出来る限り早く削除しろ

so-netってRobots置けないんだけど、これがインデックスされない原因かな？

>>680
インデックスされないのと、 robots.txt は関係ない。

私のサイトデータを消しなさい
二度とクロールするな
Robots.txtを置いたから早く見ろ
出来る限り早く削除しろ

>>678
本人に無断で、しかも商用で使われてるのが気にいらないだけ。しかも公にも公表してない。
過去を消す云々はどうでもいい。

一言「あなたのサイトを保存して半永久的に商用に利用していいですか？」
というメールがこれば少しは納得するかもな。
でも答えは「No」だがな。

削除依頼送ったがどの程度で返信が来るのやら。

>>683
つまり>>672と言いたいわけだね。

激しくすれ違いだけど他にアーカイブスレがないので、ここで聞かせてください。
ウェブアーカイブで検索結果のうらるに「sr_nr_」を反映させるには、
フォームタグ内にどんなvalue= name= を既述したらいいのかなあ(´・ω・｀)

日本語でおｋ

>>688
スマソ(´・ω・｀)

>>686>>688
自己解決しました(´・ω・｀)

marsflag.comとかいうリファラが残っててクロールされてることを知ったが
こいつを拒否する方法がさっぱり分からん。
サイトにも拒否方法はまったく書いてないし、偽装してるのかアクセスログからもそれらしき物が見つからない。
とりあえずリファラを弾いておいたが、何か知っている人いたら情報求む。

ttps://www.marsflag.com/contact/other.html
各種お問い合わせ その他
MARS FLAG では、たくさんのご利用者様からのご意見などの
お問い合わせを受け付けております。 お気軽にお問い合わせください。

IPで弾け

>>一言「あなたのサイトを保存して半永久的に商用に利用していいですか？」
>>というメールがこれば少しは納得するかもな。
>>でも答えは「No」だがな

↑　
ギャグです。
笑ってあげてください。

にはは

>>693
>>一言「あなたのサイトを保存して半永久的に商用に利用していいですか？」
コンテンツを金で売る企業があるのか。
2chのdatなら買ってやってもいいがｗ

勝手にいい加減なタグを書き加えてデタラメなHTMLにされるのが嫌だからnoarchiveしてる。
そんなくだらない理由で？って思われるだろうけどね。

うん、思う。
神経質っていうか病的って言うか、キモい。

世間じゃGoogle八分にされたとか喚いてる人もいるが・・・

robots.txtで拒否し、NOINDEXと書いてても、Googlebot君は熱心に
巡回に来ては、検索結果に載る俺のサイト。。。

>>698
うちもそう。いくらrobots.txtで拒否、NOINDEXと書いてもスルー。
あらゆる検索エンジンに登録されまくり。index削除をお願いしても無視。

もう、.htaccessしかないね。
でも近いうちにGoogleにだけは弾くのを止めるつもり。検索エンジンの中では
もっともタグ指定に素直だし更新頻度も早く、アクセスして欲しいキーワードで
きっちりと上位に来るから。

ぐぐれは最強やね。

うちも。
いちおう、noarchiveが効いているのか、キャッシュはされないし
titleの表示やbodyのダイジェストは表示されないものの、
きっちり検索結果に載る・indexはされている　んだよなぁ。謎。

ウェブ魚拓うぜえな

前弾き方を紹介してるサイトを見つけたんだけどなくなってるみたいだから転載
やり方メモっておいただけなんでほんとうにこれで弾けるかどうかは知らない


利用しているサイトのディレクトリトップに、
こういった名前のファイルをまず作る。

.htaccess

これが何かはとりあえず無視しておいてくれ。
ファイルの内容に以下の文を記述する。

Deny From 216.237.124. 59.106.19.92

少し幅を取っているが、
これで魚拓されなくなる。
少し解説しておこう。
.htaccessとはApacheというWebサーバのディレクトリ単位の設定ファイル。
さくらインターネットの様なレンタルサーバを使っている場合、
大体これが搭載されている。

Deny Fromというのは
「ここからのアクセスは禁止しますリスト」のことで、
ＩＰアドレスやドメイン名を指定することが出来る。
ＳＰＡＭを排除したりする場合に利用される。
まぁ、ようするに「ウェブ魚拓」をＳＰＡＭリストに入れるって事だ。
ウェブ魚拓のＩＰアドレスは
216.237.124.114
その他のサービスは
59.106.19.92
で行っているようだ。

59.106.19.92はさくらインターネットのアドレスのようなので、
苦情はさくらインターネットにした方が良いかもしれない。
「〜がやっているサービスで迷惑してます」的な内容をさくらインターネットに送ってあげると良い。

igWebCapもウゼェ。baiduやnaverより酷い。

そして「ニコニコブックマークうぜえ」とは誰も言わないのが2ch的だなｗ

そもそも存在感がない

marsflag 怖ぇよ。文面１，２行しか出てこない。
画面のキャプからは、元の文面なんか当然読み取れない。
利用者勘違いするって。

で、登録の削除を依頼しようとすると、名前だのメールアカウントだの要求してくんのな。

robots.txtもmeta(noindex,nofollow,noarchive)も無視しておいて
利用者向けにはごちゃごちゃと規制を掲げてやがるし、まじウザイよな。

俺の心境はまさしく>>672だわ。
ブラウザでの閲覧以外認めたくないし、手元に残されたくもない。

つかみんなで魚拓潰さない？
どうでもいい大容量のページの魚拓とらせまくってディスク浪費させるのはどうよ。

marsflagの足跡を確認している人、IPを報告してもらえたら助かる。
そうすれば禁止できるIP範囲を把握できると思うから。

ウチはまだ形跡が無いんで協力できないが…。

【くやしいのう】　　はだしのゲン公式サイトがグーグル八分　　【ギギギ…】
http://news23.2ch.net/test/read.cgi/news/1187336779/

はだしのゲン公式サイトがグーグル八分？

「くやしいのう。くやしいのう。」で有名な（っていうか、原作読んだこと無い）、「はだしのゲン」の
公式サイトがグーグル八分されているらしい。
http://www.kamatatokyo.com/home.html

調べてみると確かに検索にはヒットしないし、「サーバーの設定でキャッシュを禁止」するなど、
技術的にGoogleに嫌われる要素も存在しないようだ。グーグル八分表示は出ないが、アメリカ
Googleで検索しても表示されないため、全世界グーグル八分が行われている可能性がある。
すなわち、それは「アメリカの法律に反している」ということを意味する。
原爆の悲惨さを伝えるのは、アメリカでは違法なのかな？
http://beyond.cocolog-nifty.com/akutoku/2007/08/post_4be4.html

「はだしのゲン」でググった結果は↓
http://www.google.co.jp/search?hl=ja&q=%E3%81%AF%E3%81%A0%E3%81%97%E3%81%AE%E3%82%B2%E3%83%B3&btnG=%E6%A4%9C%E7%B4%A2&lr=

とりあえず「Google 宛に送られた法的要請に応じ(ry」の文面は出ないっぽいな

うちが使ってるWeb魚拓弾きおいとくわ

#Web魚拓
deny from 216.237.112.0/12

>>710
marsflagにアーカイブされているのを見つけたんでアクセスログを漁ったが
特定が出来なかった。どうもほかのbotみたく特徴的なHost名やUA吐いては
居ない気がする。画像じゃなく普通にページのキャッシュを閲覧できるのなら
ページに埋め込んでいるunix timeで特定できたんだがな・・・・

質問です。
/index.php?page=1, 同page=2, 同page=3 ...というURLのファイルをrobots.txtで拒否するとき、
「pageではじまる全てを拒否する」ように指定するには、どう書いたらよいでしょうか？

全てのjpgファイルならば、
User-agent: *
Disallow: /*.jpg$
でよいようですが、それとも一つ一つ書くしかないのでしょうか？

METAタグ書けば?

レスどうもです。やはり正規表現ではできませんか。
meta要素でも一つ一つ書いていくしかないような？

鯖設定で弾いた方が早そうだ。

>>715
Googleのロボットは、

User-agent: Googlebot
Disallow: /*.jpg$

は理解できるはずだよ。
だけど、ロボット全部に対応するなら、htaccessの方がいいと思う。

>>718
あ、たしかに。

思えばphpで吐いてるんだから、meta要素を挿入するのもそんな手間でもないんでした…

困ったらなんでも仕様書見るといいですよん。
http://www.robotstxt.org/wc/robots.html
見れば分かるけど、こった事なんて全然出来ない。正規表現やワイルドカードだって
規定されてない。
http://www.robotstxt.org/wc/norobots-rfc.html
ってのも有るけど提案のレベルらしい(1997年に提出された案なのにその段階
にとどまっているという事は…)。
W3Cのまとめた物もある。
http://www.w3.org/TR/1999/REC-html401-19991224/appendix/notes.html#h-B.4.1.1


正規表現は現状Googlebot独自ルール状態。更にrobots.txtは紳士協定なので
従わないbotだってゴマンといる。.htaccessで処理した方が早いと思うよ。

Googleだけで良いのなら、Googlebotの解説を読めばよろし。
http://www.google.co.jp/support/webmasters/bin/topic.py?topic=8843
あなたの例なら以下の記法でいけます(実際ウチは似たような設定で成功している)。

User-agent: Googlebot
Disallow: /index.php?page=*

googleに限って言えば、
sitemap生成してるんなら、あとは全部ブロックしてもよくね？

全部ブロックしたらクローリング出来ないじゃん

ああ、sitemapも獲れんかｗ

ﾊﾞｶｽｗ

User-agent: ia_archiver
Disallow: /

http://web.archive.org/ が、昨日からずっとつながらないよ。どうしたんだ一体。
……と思ったら、たったいま復活した。

このところ接続悪いな。　http://web.archive.org/

検索避け支援wiki
http://www34.atwiki.jp/norobot/

162 名前： ekken [[email protected]] 投稿日： 2007/07/18(水) 12:38:17 ID:eO6yKRYW
いいじゃないか
アンタらのブログはアクセス数にこたわらなければならないほど、立派なないようなのか？

↓コイツ、バカだねぇ

70 名前： 名無しさん＠八周年 投稿日： 2007/07/18(水) 12:31:04 ID:wL1uswPu0
http://ibuling.blogspot.com/

2007年7月14日
Googleの広告審査能力は０に等しいのね（´・ω・）

名もなきネット人狙い撃ちで陰口を叩き、独り悦に入る魂の障害者、それがekken
時流に乗った新興産業の個担当者部分に媚を売り、おこぼれに預かろうとするコバンザメネット業者、それがekken
現在ネット上には八百萬のekkenがいる…

投稿者 ？ 場所 16:52

つーことで、 どいつもこいつも
http://d.hatena.ne.jp/mobanama/20070911#p1
http://18.dtiblog.com/n/nekora/file/22362134.htm
http://d.hatena.ne.jp/kana-kana_ceo/mobile?date=20070928
http://homer2007.blog86.fc2.com/
http://ahonosatoshi.blog82.fc2.com/
http://3.dtiblog.com/h/homer2006/file/21470389.htm

自らはブログサービス提供はおろかパーツひとつ貸し出しもせず、登録者がオール他社サービスで作成したブログ記事をPING送信させて広告掲載頁に表示し座したまま広告収入を得、
ひとたび広告に対する苦情がでるや広告元を悪者にしていい子になり、更にはうっとうしいスパムメールを送りつけるだけでは飽き足らず自らの管理義務の一部を登録者に押し付けた挙句、権限濫用で都合のいいように頁を改竄し外面をよくして新規登録者を誘い、
あまつさえ無料サービスだと大威張りで恩を着せる「にほんブログ村」ことムラウチドットコム。

匿名であろうと実名であろうと、図々しい人が得をする。

俺はグーグルＡＤを踏まないように、

↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

C:\WINDOWS\system32\drivers\etc\hosts

hosts　をメモ帳で開く

127.0.0.1 localhost
0.0.0.0 pagead2.googlesyndication.com

保存

↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑

ってしてんだけど、みんなは？


もちろん、ＴＶ新聞雑誌に広告を出してる会社は
何か悪いことをしてるから口封じにアドを使って
糞カスゴミ・広告代理店に献金してるんだと思うよ。

ttp://web.archive.org/collections/web.html
これにキャッシュとられっちゃったらもう消す方法ないですか？？

robots.txtで消える

キャッシュ取られたサイトはもうないんです・・・

諦めるがよい

このサイトって管理人にメール送れないんですかね・・・

サイト作るときは必ず<meta name="Robots" content="NoArchive">入れてる

　　　　　　　　　,.　-─‐-　､
　 　 　 　 　,　'´　　　　　　　 ヽ
　 　 　　　/　　／ヽ＼　　　　　ヽ
　　　　　/　　/　　 `､ ＼ ヽ　　　ﾞ,
　 　 　 .i　　 i　　　　 ヽ､｀ヽ､ ＼　',
　　　　 i　　 !.　 ＝=､　　｀ヽ、｀ヽ、!
　　　　 |　　l丁￣￣｀i-f´￣｀ヽ､ヽ !
　　　　 |　　!.ヽ　--‐'　 `ー‐一1ヽi
　　　　 |　　i　　　　 i　　丶　　 !　,'
　 　 　　!　　!　　　　｀ｰ '"　　 ,'　i 　　　　　ホームページのダウンロードや印刷は禁止します
　　　　　i　 /ヽ　　 　ｰ一'　　/ヽ､!　　　　　　　アーカイブも禁止します
　 　 　　 V　　 ＼ ,､ 　 　 .／/　ヽ ､_　　　　　　　法律は糞くらえだ俺が嫌だと言っている
　 .r'"´￣ |.　　 ／,へっ‐'"　/　　i　　｀`'‐-　､
　/　　／　|　／ く★へ　,. へ、.　l 　 　 　　　 ヽ
./　　　⌒　/　　　　 ／｀)　　　ヽ/　　　　　　　　i

元ネタよくわからんがいい言葉だよね。

裏ワザ？バグ？Googleで検索した画像が踊りだす技
http://news.ameba.jp/hl/2007/11/8504.html

何がバグだｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ

教えてください。
インターネットの、過去に消されたページを見ることができるらしいいのですが、
その方法を教えてください。
アドレスをどうすれば、そのアドレスの過去を見ることができるのでしょうか？

ｽﾚﾁ

>>741
Internet Archive
http://www.archive.org/index.php

アンチアーカイブスレで何紹介してんだｗ

ここInternet Archiveの話題もおK？

削除済みの古いコンテンツ拾われてたの気付いて
慌ててロボテキ入れたら、無料鯖だけどすぐブロックされてほっとした
それはよかったけど、半年くらい置いてサイトごと削除したら
またキャッシュ復活しちゃうんだろうか？

>>745
他板に専用スレがある。

Internet Archive総合 (web.archive.org) #1
http://pc11.2ch.net/test/read.cgi/esite/1189771222/

ウェブアーカイブというサイトで、
昔消えたサイトを復元できますが、それをされないようにサイトを作ることはできますか？

HPの製作者が消した後なら、
ウェブアーカイブに残らない、なんてことを聞いたこともありますが、
そんなことありえないですよね？
あるいは、文字化けして、どっちみち見れないようなものとして表示される、
とも聞きましたが、それも間違いですよね？

>747
なんですぐ一つ上のレスも読めないのかと。
さすがGK。

任豚きめえ

↓対策はスレ違いですか?
ttp://www.existingproof.jp/

>>738
ちょｗオサレ先生ｗｗｗ

元ネタは、ジャンプ連載漫画「ブリーチ」の作者が、
Webサイトで絵を公開してたときの日記。

＞法律もウェッブルールもクソ喰らえだ。 俺が嫌だと言ってる。

少し改変されてるな。

>>750
ウェブ魚拓臭漂うサービスだね
リモートホスト：www.existingproof.jp
IP：210.250.55.120
UA：Java/1.5.0_11
キャッシュする時にこれらを吐いてくるからdenyするとよろし
リファラは吐かなかった

ウェブ魚拓も>>750のところも自分の所は保存できなくしてるな

検索避けwikiが死んどる

webarchiveさー、robots.txt置いて、何度もクローラー読み込ませてるのに
普通に過去のデータが出るんですけど…
たまにRobots.txt Query Exclusion.が出るだけで…

なんなんだこのサイト運営してる連中は…？
本人確認できないと削除しないとか…

サーバ契約延長期限ギリギリに気づいてよかった…

魚拓のFAQに、

(1) 以下のMETAタグをHEADタグ内に書く
<meta name="robots" content="noindex,nofollow">

(2) ルートディレクトリにrobots.txtを設置して、"Megalodon"が取得不可能なパスを指定する
なお、robots.txtはキャッシュしておりますので、変更が反映されるまで長くて3日かかります。

って書いてあるんだが、


---------------------------
User-agent: Megalodon
Disallow: /
---------------------------

これで弾けると思う?
てか、魚拓のUAって一定だったっけ?

魚拓はじきの情報が載ってるのって、検索避け支援WIKIだけだったからな……

しかしむかつくのは、レンタルブログなどの場合、ロボテキもHTACCESSも設置出来ないから、
メタタグを仕込むことになるけれど、(1)のタグだと他のまともな検索エンジンまで巻き添えで
弾くことになっちゃうじゃないか。どんだけ悪質なんだよ魚拓。

>>756
ちょとと違う話だが、

ルートディレクトリをさわる権限が無くrobots.txtはおけず、Google等には
indexされて欲しいけど、魚拓は拒否りたい…って場合でも

<meta name="robots" content="noindex,nofollow,noarchive">

しか受け付けてくれないんだよなぁ。

<meta name="Megalodon" content="noindex,nofollow,noarchive">

に対応して欲しいが、問い合わせも無視され中。

>>758
deny from 216.98.130.25
deny from 216.98.130.26
deny from 71.6.145.82
deny from 71.6.145.92

今はこれで弾けるみたい

ごめん、>>756に対してだった
ちなみにウチにくる魚拓はFirefoxを偽装してくるんだがこんなもんなのか？

>>759
.htaccess使えればいいんだけどねぇ

>>755
削除してもらえよ

>>762
日本語でおｋ

>763
削除依頼メール出して手動で削除してもらえって意味だろ。
日本語でおｋって返すほどのレスじゃない。

>>755 本人確認できないと削除しないとか…

サーバ契約中なら削除できるぞ

>>759
それだけじゃないぞ
ttp://megalodon.jp/?url=http%3A%2F%2Fwww.ugtop.com%2Fspill.shtml&type=simple

OrgName: Google Inc.
OrgID: GOGL
Address: 1600 Amphitheatre Parkway
City: Mountain View
StateProv: CA
PostalCode: 94043
Country: US

NetRange: 66.249.64.0 - 66.249.95.255
CIDR: 66.249.64.0/19
NetName: GOOGLE
NetHandle: NET-66-249-64-0-1
Parent: NET-66-0-0-0-0
NetType: Direct Allocation
NameServer: NS1.GOOGLE.COM
NameServer: NS2.GOOGLE.COM
NameServer: NS3.GOOGLE.COM
NameServer: NS4.GOOGLE.COM
Comment:
RegDate: 2004-03-05
Updated: 2007-04-10

OrgTechHandle: ZG39-ARIN
OrgTechName: Google Inc.
OrgTechPhone: +1-650-318-0200
OrgTechEmail: [email protected]

# ARIN WHOIS database, last updated 2008-04-30 19:10
# Enter ? for additional hints on searching ARIN's WHOIS database.

http://bookmarks.yahoo.co.jp/promo-about

Myブックマークをほかの利用者に公開することもできるので、情報・知識を共有でき、新しい発見が生まれる！

魚拓みたいなのをとられるのが嫌でこんかい初めてrobots.txtなるものを
自サイトにも上げて、とりあえずウェブ魚拓からのアクセスは禁止にしたん
だけど、他に似たようなサイトはどんなのがありますか？

そういうの嫌いなんで片っ端から拒否したいんですけど、よければ
みなさんのrobots.txtの設定を教えてくださいませんか。

>>770
もううざいから拒否型じゃなく許可型にしてる
どうせgoogle.yahoo,msぐらいだからな

ものすごく本末転倒感が

ブログで魚拓を拒否するにはどんなタグを入力したら良いんでしょうか？
普通のサイトみたいにrobots.txtをアップロードするというやりかたができないので
よくわからなくてちょっと困ってます。

noindex

>>771-772
Basic認証にする方が手間かからなくていいよね

「ウェブ魚拓」に音声投稿機能、「音声を証拠として残すために」
ttp://internet.watch.impress.co.jp/cda/news/2008/05/28/19728.html

懲りない連中だ

「丸ごと」はGoogleやYahooなどの検索エンジンのキャッシュと同レベルの強さしかありません。
それらのキャッシュと同様に、「インターネットに公開されているコンテンツは、より広く知られることを望まれているはずだ」という
暗黙の前提のもとに無断利用しているだけなので、本人から削除依頼が来たら原則的に削除しなくてはなりません。

「引用」はそうではありません。
「引用する」で取得する場合の「範囲を絞る」「特定のリンク元からのアクセスでしか表示しない」は、日本の著作権法を
考慮して本人から削除依頼が来ても合法的に削除を断れるように考えられています。
どうすれば魚拓を削除せずに済むのかを考えて作った機能なので、ぜひ利用していただきたいです。

あまりにも素敵過ぎるQ&Aに（ ﾟдﾟ）ﾎﾟｶｰﾝ

>>777
その手の物言いしてると、民事じゃなくていきなり刑事でやられるかもね。

魚拓の中の人って、きっと過去に

おっと、誰か来たようだ。

ページの丸ごと転載やら音声のアップロードやら、鬱陶しいことばかりしてるな
ところで魚拓の中の人のブログが昔はあった気がするんだが誰か知らない？

要領の悪い、いじめられっこだった。てとこか？

　　　　　　　　　,.　-─‐-　､
　 　 　 　 　,　'´　　　　　　　 ヽ
　 　 　　　/　　／ヽ＼　　　　　ヽ
　　　　　/　　/　　 `､ ＼ ヽ　　　ﾞ,
　 　 　 .i　　 i　　　　 ヽ､｀ヽ､ ＼　',
　　　　 i　　 !.　 ＝=､　　｀ヽ、｀ヽ、!
　　　　 |　　l丁￣￣｀i-f´￣｀ヽ､ヽ !
　　　　 |　　!.ヽ　--‐'　 `ー‐一1ヽi
　　　　 |　　i　　　　 i　　丶　　 !　,'
　 　 　　!　　!　　　　｀ｰ '"　　 ,'　i 　　　　　ホームページのダウンロードや印刷は禁止します
　　　　　i　 /ヽ　　 　ｰ一'　　/ヽ､!　　　　　　　アーカイブも禁止します
　 　 　　 V　　 ＼ ,､ 　 　 .／/　ヽ ､_　　　　　　　法律は糞くらえだ俺が嫌だと言っている
　 .r'"´￣ |.　　 ／,へっ‐'"　/　　i　　｀`'‐-　､
　/　　／　|　／ く★へ　,. へ、.　l 　 　 　　　 ヽ
./　　　⌒　/　　　　 ／｀)　　　ヽ/　　　　　　　　i

師匠に100%同意！！！

http://www.netart.jp/homuhen/gyotaku.htm

ウェブ魚拓回避回避ってのがあったんだけど
よくわからん

引用には要件があるからそれを満たしてないと引用にすらならんのに。
一部だけを抽出したものは引用とはいわんだろ。

質的にも量的にも、引用先が「主」、引用部分が「従」の関係にあること。
引用を独立してそれだけの作品として使用することはできない。

利用規約とかに作者のお人柄がにじみ出ているようですねｗ
これ使うとホム変というところに過去の作品としてURLが晒されるんだな

netart.jp
202.172.28.53
s52.coreserver.jp
202.172.28.53

これだけdenyすれば弾けると思うけど確信は無い
弾けるか試してみようにも、自分のサイトのURLが晒されるからなんか嫌だな・・・

魚拓がやってる丸ごとと引用は実質一緒だけどな。

引用っていったって引用部分だけ外部に提供してるからただの部分転載。
引用ってのなら引用してる部分も含めて保存しないと引用にならん。

>>785
202.172.28.53で間違いないぽいよ。
http://www.netart.jp/homuhen/proxy-402.htm

あとこのタグで回避できるって
<meta name='manko' content='chinko'>

あほｗ

おまいらtumblrはどうでもいいのか

>>787
確認ありがとうございます。引き続きアク禁リストに加えておく事にします。
このサービスは放置していてもあまり害は無さそうだが、作者の言葉が癇に障るから好きになれんよ。

.htaccess使用不可＆robots.txt置けないブログやってる
リファラにWebarchiveがあって見に行ったらうちのサイトはまだアーカイブされてなかった

<meta name="Robots" content="NoArchive">

メタタグこう入れてるんだけど大丈夫ですよね?

>>790
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW,NOARCHIVE">
にしたほうが良い。
三つの効果があり、それに普通は大文字だ。

インターネット・アーカイブに保存された、自分の昔のＨＰを削除できる方法があるなら、
教えてください。
また、保存されたのが今も続いているＨＰなら、ＨＴＭＬにロボット禁止のタグを入れると、
削除できると聞きましたが、それは可能ですか？

過去ログ嫁

>>793
具体的なレスはありませんよ？

>>794
あるじゃねーかよハゲ。読まないで無いとか言ってんじゃねーよ。

dat落ちの前スレとかっていうならまだしも（その場合でも読める仕組みはあるし）
現スレ内で何度か出てるわけで、現スレくらいはちゃんと読んでくださいね。

>>795　>>796
いや、それを訊いて、結局答えになっていないレスはありますが、
実際に解決したレスは無いでしょう。

メタタグを入れると削除されるのでは？
そうレスにあるはずですが。

解決していないのは、一度キャッシュされたウェブをロボット拒否で消しても、
そのサイトを消すと、また以前にキャッシュされた内容が保存されてしまう、
という問題でしたね。

>>797
あるっつーの。グタグタ言ってないで頭から読み返せクソ野郎

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW,NOARCHIVE">
を入れるとキャッシュなどを拒否できるらしいですが、
これを入れておくと、以前にアーカイブなどに保存されたものも消えるのでしょうか？
そのような話を聞いたのですが、どうなのでしょうか？

617 ：Name_Not_Found：2006/01/21(土) 20:14:27 ID:u1WfF9rt
そうそう……
でも一応「次回のクロール時にnot foundなら削除」とは書いてあるのね



↑もう削除してから７年以上経っても消えていないサイトがありますよ。

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW,NOARCHIVE">
を入れるとキャッシュなどを拒否できるらしいですが、
これを入れておくと、以前にアーカイブなどに保存されたものも消えるのでしょうか？
そのような話を聞いたのですが、どうなのでしょうか？

保存されたのを消す方法があれば教えてください

>>801
インターネット・アーカイブの話を振ってたくせに、
なんでヤフーに関するレスを引っ張ってきてんだよ、おまえ。
真性の間抜けだったのか。付き合いきれんわ。

>>802
過　去　ロ　グ　嫁

終了。ウザイから二度と書き込むんじゃねークソが。氏ね

>>804
読みました。
メールで削除要請するしかない、ということですか？
タグ挿入でどうにかならないのでしょうか？

グーグルは削除されたページを何年でも出し続けますよ
インデックス数の水増しのためでしょうけど
更新されたページでもキャッシュはほとんど変えません

もし自分のブログに変なこと書いてしまったら
グーグルが永久に出し続けます
その後訂正してもグーグルは訂正してくれません

あなたが取り消したい記事であればあるほど
グーグルは残そうとします
グーグルはサイトオーナーの評価が最も低くなるような形で検索結果を操作しています

実際ググればわかりますが他人をほめるような記事は絶対に上に出てきません
ネガティブなキーワードを優先的に拾うなどしているのでしょう

妄想乙ｗ

>>806
やっぱりそうか！
俺も漠然とそう思ってた

このスレの水面下にあった結論を>>806が見事表現してくれた
ありが�d

グーグル工作員の態度の悪さもムカツク

>>809
誰が見ても自作自演の自己レスすんなw

と必死な工作員なのでした

俺も>>806に禿同

ここはアーカイブが嫌いな人が集まるスレなんだから、
８０２のような質問には真剣に答えるのが当然だろう。

質問する前に過去ログを確認したり、ググるのが当然なのでは？
安易に訊いて、簡単に教えて貰おうとする姿勢が透けて見えるから
答えてもらえないんだと思うけれど・・・。

んだ

何言ってんのクソ工作員
べつに安易に聞いたっていいじゃん
知ってる人がいたらそのほうが早い

だいいちググれと言われてググるほどみんなバカじゃない
環境変数グーグル社に持ってかれるから
ここに書き込む奴はそのくらいわかってるよ

>>815
仮に知ってたとして、何でお前に教えてやらなきゃいけねーの？
お前の検索ワードをググルに持っていかれようが、
こっちの知ったことじゃないんだが。

顔真っ赤にしてやがる。おもすれーｗｗ

>>815
ゆでダコだなｗ
16歳以上だとしたら哀れみを感じずにいられない

だから答える気もないなら書き込むなよクソ工作員

火病？

工作員だ何だと決め付けて煽るだけの奴も逝けよ。

インターネットアーカイブはキャッシュされる前に対策するのが当たり前。
ちなみにmetaに書いただけですぐに消える保証なんて当然ない。
メールで連絡を試みても依然とは比べ物にならんほど対応も遅い。

工作員だなんだ言ってるやつが、答えをもらえない質問者でしょ

いいから答える気もないなら書き込むなクズ

なんで急に荒れたかというと>>802が本質を突いてしまったからだ
グーグルは絶対にアーカイブは消さない
一時的に非表示にすることはあっても決して消さない

だから態度の悪いグーグル工作員と思しき奴も>>802に答えられないし
必死に話をそらそうとしている

>>806が正しい
もし消えないなら東京地裁に著作権侵害を訴えて掲載削除の仮処分申請をするといい
（グーグル日本法人の本社は東京都渋谷区）

>>823
>>823

マジかよ
鬼畜犯罪企業Googleイラネ

http://pc11.2ch.net/test/read.cgi/hp/1212507582/

378 ：Name_Not_Found：2008/07/08(火) 16:10:17 ID:???
社長逮捕に工作員が反応したのかｗ
でも実際に著作権者がyoutubeの件で刑事告訴したらグーグルは終わりだろ
Winnyの作者は営利でやってなかったけどグーグルは営利企業だからさらに悪質

今のところは事後的に金払って揉み消してるけどあくまで事後的になｗ
ホント薄汚い企業だよ

そのうち金額で折り合いが付かなくなって大事になるぞｗ

389 ：Name_Not_Found：2008/07/08(火) 23:01:27 ID:bS5+vImF
違法サイトと違法動画がないと潰れてしまうグーグルって哀れだ・・・

Internet Archiveの話なのかGoogleキャッシュについての相談なのか
そもそも>>802はどっちなん？

>>828
どっちもです。
とにかく、過去に保存されたのを消したいんです。

>>829
だから法的手続を執るしかないんだって
グーグルはそういう会社

他のアーカイブは気にしなくていいよ
グーグルが出しさえしなければ事実上何の問題もない
とにかくグーグルが諸悪の根源だからよく覚えておくように

とりあえずGoogleの方はキャッシュされたのと同じファイル名で
特に意味のない内容のファイルを生成しなおしてうｐしてはどうか。

キャッシュが新しい無意味な内容のに切り替われば目的は達成できるんじゃね。

ねーよｗ
いくら無意味な内容に切り換えても無視されるだけ

グーグルはあくまで誰かにとって都合の悪い記事を残そうとする
そういうふうにアルゴリズムができている
しかもネガティブなキーワードを拾うだけでなく
社員が絶えず見て回ってネガティブな記事を残そうと努力している

だからこそ他社と比べて上位が圧倒的な中傷記事で占められる
上に書いてあるように法的措置をとるしかない

だからいまだに『ケンタッキー』でゴキブリがあんなに出るのか。。。
今ググって来たが相変わらず酷いもんだ

例えば、レンタル掲示板にスレを立てられて誹謗中傷されたり
個人情報を晒された場合、掲示板の鯖管の判断でスレが削除
されても、そのスレは検索にヒットし続けて、キャッシュで中身も
見れると言う事？

802はグーグル叩きじゃなくてなんとかする方法やアイディアを希望してるんだと思うのだが

８３１さんのを試すと良さそうですね。

でも、ロボットを禁止にしておけば、
次に回ってきたときにキャッシュが消えるのではないのでしょうか？

>>835
そうです。ただ自分のキャッシュを消したいだけです。

削除リクエストじゃだめなの？

禁止しただけじゃ消えないことも。
その辺は試してみればわかる。

>>834
まさにその通り
被害者が大量にいるからこれだけグーグルが叩かれる

>>837-838
5年以上前に消えたページもGoogleでは平気でヒットするぜ
まず消せないと思え

８３１さんの方法だとどうでしょうか？

Googleの場合は、既に自分の管理下に無いサイト(アドレス)なら別だが、
管理下にあるサイトならWebmaster tools使えば、自力で削除等可能だね。

ダメなんだなそれがｗ

とりあえず>>802はやれそうな対策から試せや

>>844
なんでだよ、おれんとこ消せるよ。

グーグルは個人情報も消さないしな

８４３で消せるよな。
８４４は釣り

http://mamono.2ch.net/test/read.cgi/newsplus/1215743862/l50

【毎日・変態報道】「robots.txt」で、毎日新聞英語版が「Web引きこもり」設定中
1 名前： 窓際店長見習φ ★ 投稿日： 2008/07/11(金) 11:37:42 ID:???0
　熱が収まるどころか、ネットではますます盛り上がってしまっている、毎日新聞の低俗英語
サイト問題。「Mainichi Daily News」で削除済みの「WaiWai」のWebページには、メタタグに
「hentai」とあったものだから、「毎日変態新聞」との表現もネットで頻繁に見かける。問題の
記事については、毎日新聞は訂正することなく、Webサイトから完全に削除してしまったため
に、ネットユーザーには証拠隠滅と映り、反感をますます買ってしまった。念の入ったことに、
検索エンジンがWebページを収集する「ロボット」の動きをコントロールする「robots.txt」にも、
「User-agent: *」「Disallow: /」と、すべてを拒否する設定が書き込まれている。タイムスタンプを
見ると、6月27日の深夜に書き換えたことになっている。この記述がどういう意味なのか、Google
の説明が詳しい。つまり、MainichiDaily Newsはどこで検索しても結果に表れない、引きこもり
状態なのだ。ただし、2行の間に不要な空行が入っているため、設定が有効かどうかは怪しい。
robots.txtはブックマークするようなファイルではないのだけれど、はてなブックマークでは、
人気の「IT戦士」を取り上げた日刊サイゾーの記事を超えるブックマーク数になっている。

http://internet.watch.impress.co.jp/static/yajiuma/2008/07/10/

このスレにある魚拓対策をhtaccessに書いて、全文取得をブロックすることはできたんだが、
引用とかいうふざけた機能はブロックできない。
一部とかいって、ページ単位ならほぼ全部保存することができるし。
これをブロックできている人いるかな？

robots.txtじゃなくて.htaccessで魚拓のIPとかドメインを拒否しててダメなの？

>>759で弾けるんじゃない？

グーグルはキャッシュの更新はほとんど行わないから
どんなツール使っても無駄ですよ

キャッシュの削除指定もWebmaster toolsで。

すでに存在しない（管理下を離れた）サイトだったら�_

サイト閉鎖したって著作権あるんだぜ
犯罪企業グーグルさんよぉ

勝手に使うんじゃねーよ
あ？

ネット弁慶さん、ようこそ＾＾

つまりグーグルは過去に存在したページだと嘘を言えば
どんなデマ情報もキャッシュの名目でばらまくことが出来るわけだな

しかしこんだけネットで嫌われてよくやってられるなｗ

サイト管理者が表示したくないからページを削除したのに
グーグルが勝手にキャッシュに出し続けるってのは
犯罪なんじゃないの？

どうよこの犯罪体質のグーグル社
米国でも裁判起こされまくってるし

>>858
ここはキャッシュ対策を話し合うスレであって
グーグルに対する恨み辛みをぶちまけるスレではない。

よそでやれ。

>>859
スレタイよく見やがれ池沼

ネット弁慶さん、ようこそ＾＾

グーグルではトップページに表示されても
クズサイトに囲まれてるからぜんぜん来てくれないんだよな

むしろサイトオーナーに迷惑かけてるんだから
ページ使用料と損害賠償金を払ってほしいよな

特にキャッシュを残すというのであれば
不特定多数への配布が可能になるわけだから
書籍に換算して最低十万部くらいの値段をサイトオーナーに払うべきだね

他の検索エンジンは無料で構わないよ
むしろ宣伝になるから有り難い

こんなところで喚いて満足なら安いものだね。Googleは痛くも痒くもなかろう。

>>860
スレタイよく見やがれ池沼

>>862
さっさと訴訟すれば？

少額訴訟なら個人でも簡単に起こせるんだから、ぜひやってよ。
画期的な前例となるよ。
世界からも注目されると思う。

つーかグーグル掲載拒否しているサイト大杉だろｗ
だからこそゴミサイトばかり出てくるわけで

グーグルって典型的なネット弁慶だと思ってたけどどうやら違うみたいだな
>>865-866見ると相当追い詰められて弱気になっていることがわかるｗ

>>868
ネット弁慶の意味が分からないなら使うなよw

ﾜﾗ

俺持ってるサイト全部NOARCHIVEだが

簡単なBasic認証での制限もしないで、そういう紳士協定に依存して、違反したらファビョって…なんなんだよそれ。

>>872
そんな制限したらせっかく来てくれる客に迷惑だろｊｋ

robots.txtで拒否し、META NOINDEXも書いてても、被リンクがたっぷりある
サイトだと、検索結果の堂々1位を飾ってくれちゃってたよ・・・

ただし、<title>の中の半角アルファベットはすべて小文字になってたり、
NOINDEX,NOSNIPPET同様にダイジェストは載らなかったり、いろいろ半端な
対応だったな・・・

ｸﾞｰｸﾞﾙﾜﾛｽ
いくら人気ページが出ないとまずいからって
手動登録はないだろｗ

サイト消した後もずっと残るってのがあれだよな
痛いプロフとか書いてた場合、永遠にそれが全世界に晒され続ける

まあそういうの書いてた奴の自業自得なんだが

自業自得じゃねえだろ
人の弱みを永久に晒し続けるグーグルこそが異常だと知れ

まあその結果グーグル自身も世界に晒されてるわけだが
こっちはまさに自業自得だなｗ

夏だなぁ

　　　　　　　　　,.　-─‐-　､
　 　 　 　 　,　'´　　　　　　　 ヽ
　 　 　　　/　　／ヽ＼　　　　　ヽ
　　　　　/　　/　　 `､ ＼ ヽ　　　ﾞ,
　 　 　 .i　　 i　　　　 ヽ､｀ヽ､ ＼　',
　　　　 i　　 !.　 ＝=､　　｀ヽ、｀ヽ、!
　　　　 |　　l丁￣￣｀i-f´￣｀ヽ､ヽ !
　　　　 |　　!.ヽ　--‐'　 `ー‐一1ヽi
　　　　 |　　i　　　　 i　　丶　　 !　,'
　 　 　　!　　!　　　　｀ｰ '"　　 ,'　i 　　　　　ホームページのダウンロードや印刷は禁止します
　　　　　i　 /ヽ　　 　ｰ一'　　/ヽ､!　　　　　　　アーカイブも禁止します
　 　 　　 V　　 ＼ ,､ 　 　 .／/　ヽ ､_　　　　　　　法律は糞くらえだ俺が嫌だと言っている
　 .r'"´￣ |.　　 ／,へっ‐'"　/　　i　　｀`'‐-　､
　/　　／　|　／ く★へ　,. へ、.　l 　 　 　　　 ヽ
./　　　⌒　/　　　　 ／｀)　　　ヽ/　　　　　　　　i

いやだから自サイトの使用制限は合法だから

×法律は糞くらえ
○グーグルは糞くらえ

だよね
リンク禁止だってこっちの管理者の勝手だよね

教えてください
グーグルにキャッシュされた場合、
キャッシュされても良い内容にHPを書き換えてから、
次にロボットが回ってくると、キャッシュは書き換えたないように変わりますか？

あるいは、次ロボットが回ってくるときにロボット禁止にしていると、
以前にキャッシュされた内容は消えますか？

>>882
書き換えた内容にキャッシュが更新された事は普通にある。
それ以外については自動では中々消えないかも試練。
自分で色々工夫して結果報告よろ。

いじりようがない過去のサイトとかじゃないのなら、Webmaster toolsを使うと楽っつーか話が早い。

一応、まとめて質問します。

以前にグーグルにキャッシュされた内容を変えたいのですが、
その場合、ロボットが次に回ってくるまでに内容を書き換えておけば良いのですか？
その場合、ロボットを禁止にしていると、以前にキャッシュされた内容が消えるのか、
あるいはロボットが回ってこずに、以前の内容だけが残ったままなのか、
どちらでしょうか？

>>883
いろいろ試してはみますが・・・

>>884
それも調べてみます

もし８８５の方法を取る時、
ロボット禁止にして、内容を書き換えた場合、
キャッシュに残るのは以前の内容のままってことになりますか？
一度ロボットに新しいキャッシュを取らせる必要があるのでしょうか？

クロールはしても更新はしないよ
グーグルはそんな技術力も良心もやる気もない

とりあえずウェブマスターToolsを使ってみ

ttp://www1.axfc.net/uploader/He/so/120386.png (google)

>>888
無責任ですよね。金儲けの都合でしょうが...

>>889
すいません。検索してますが、その画像のようなページは見つかりません。
ソフトをダウンロードする場所も見つかりませんし、いったいどこでどうするのでしょうか？
初心者ですいません。

https://www.google.com/webmasters/tools/docs/ja/about.html

炎上した発言を揉消すためにアーカイブ反対なわけですね。わかります。

>>891
それのどこに画像のページがあるのでしょうか？
もしかして、登録しなければ駄目ですか？
しかも英語サイトですが・・・

グーグルに自分のサイトをキャッシュされてないかどうかを調べるにはどうすればいいですか？
検索欄にアドレスを入れてもページが見つかりません、と出ます。

>>893
日本語でおｋ

>>894
つまりキャッシュもされてない

>>895
以前にアップされたウェブマスターツールの操作画像のページに行けません。
そこに行くまでにはどうすれば良いのでしょうか？
８９１のサイトでどうすれば？
教えてください・・・

８８２が何を言っているのか
教えてください・・・

　　　　　　　　　　　　　　　　　　　　　　　　　　　ヽ
　　　　　　　　　　　　　　_,,.,､､,.ｨ-- ti- ､､､....,,,,_ 　 ',
　　　　　　 　 ,,..､､ri':'ﾞ/~ 　 ﾚ　　 　 '　 ﾞﾍ:l : : : :~,＞
　　 _,...r:::''"::／ l/ .l:/-=ニ二,'_ｰ- ､、 　 !l!;: r '"
'''＜:::::::::::::;､r'　　　　　　　　　　`'' ‐-`.､ /
-、 l::::::::::::l　　　　　　 　 　 ＜"ﾞ'i;ｿ'　　 ',
~.ヽ l:::::::::::l　　　　　　　　　　　　 ~' 　 　 '､
/ .） .l::::::::::!　　　　　　　　　　　 　 　 　 　 '､
　ヽ　.l:!l:::::l ヽ　　　　　　　　　　　　　　　 　 '､
＼ '　 l! l::!l!　ヽ　　　　　　　　　 　 　 　 　 　 ,'
　 ﾞ　 　 ヾ　　　　　　　　　　　　　　　‐'" ,. r ﾞ
ｰ-‐i　　　　　　　　　　　　 　 ,.r,,iilll鬚髯ｦ 　　　そんなに何も見えてないんじゃ
.　　 l　　　　　　　　　　　　`''' ‐‐ ---t‐' 　　　　
￣￣￣￣￣￣~"''､' ‐ ､ 　 　 　 ー‐ノ 　　　　　生きてても面白くないでしょう
　　　　　　　　 　 　 ',　 ヽ　　　　 　 l
　　　　 　 　 　 　 　 ｌ　　 l　　 　 　 l
　　　　　　　 　 　 　 l　 　 l　　　　 ﾉ

要するにグーグルはサイトオーナーから情報だけ勝手に盗み取って
サイトオーナーの利益を侵害するような使い方をしている犯罪企業ってこと

Q.
GoogleのキャッシュとYahooのキャッシュの違いを述べよ(文字数は自由)

答えると何かくれるのか？

答えるとグーグル社長の刑期が縮むのか？

縮みこんでるのは削除されねーと吠えてる奴の玉袋くらいなもんJARO

ωωω

他人の著作物を永久に勝手に利用するまでの権利はグーグルにはないぜ
まあ泥棒にはわからねえか

今日もネット弁慶ご苦労さん

　　　　　　　　　,.　-─‐-　､
　 　 　 　 　,　'´　　　　　　　 ヽ
　 　 　　　/　　／ヽ＼　　　　　ヽ
　　　　　/　　/　　 `､ ＼ ヽ　　　ﾞ,
　 　 　 .i　　 i　　　　 ヽ､｀ヽ､ ＼　',
　　　　 i　　 !.　 ＝=､　　｀ヽ、｀ヽ、!
　　　　 |　　l丁￣￣｀i-f´￣｀ヽ､ヽ !
　　　　 |　　!.ヽ　--‐'　 `ー‐一1ヽi
　　　　 |　　i　　　　 i　　丶　　 !　,'
　 　 　　!　　!　　　　｀ｰ '"　　 ,'　i 　　　　　他人の著作物を永久に勝手に利用するまでの権利はグーグルにはないぜ
　　　　　i　 /ヽ　　 　ｰ一'　　/ヽ､!　　　　　　　まあ泥棒にはわからねえか
　 　 　　 V　　 ＼ ,､ 　 　 .／/　ヽ ､_　　　　　　　
　 .r'"´￣ |.　　 ／,へっ‐'"　/　　i　　｀`'‐-　､
　/　　／　|　／ く★へ　,. へ、.　l 　 　 　　　 ヽ
./　　　⌒　/　　　　 ／｀)　　　ヽ/　　　　　　　　i

(･∀･)ﾆﾔﾆﾔ

ヤフーのロボットがFirefoxにUA偽装してくることがある
非常にウザイ

いまこそ Google に立ち向かおう！
来週あたりから血祭りになるよ。
http://changi.2ch.net/test/read.cgi/ms/1219225690/

うちのサイトなんだけどさ、.htaccessでGoogleとYahooを拒否したんだ。
そしたらどうなったと思う。Googleは素直にクロールするのをやめて消えたんだ。

Yahooはといえば、サイトのURLでアクセスに拒否されたページを取得してる。
おいおいどこまで粘着なんだよ。Yahoo！ Japan！ ww

素直にrobots.txtで教えてやれよ

>>14
おまえのような奴は市役所に勤めて
まな板みたいなオッパイの女とせっせと子作りしていればいいのさ。

誤爆？

だって>>14みたいな事言ってたら、他人のメールの内容をスキャンして興味ありそうな広告を表示しようなんてアイデアは実現しないもん。

そうだな。

有力サイトのオーナーはグーグルにコンテンツ使用料を請求したほうがいいぞ

100$/ページが最低限だな

ほ

紳士協定だから、Googleは何ヵ月か後に有効になったけど、
百度（Baidu）は平気で無視して情報集めてるみたい。
全部、中国からの百度（Baidu）を.htaccessで拒否していたら、
いつの間にか日本にあるサーバでも集め始めた。びっくり！
拒否、拒否・・・

百度ｗ

確かに勝手に複製され、許可なく公開しているのはおかしい
世の中の利便性を考えれば、このままでいてほしいけどやっぱりおかしい

利便性があるのにできないほうがおかしいんだ。

ほ

Baiduspiderウザすぎ！！　ヽ(`Д´)ﾉ
http://pc11.2ch.net/test/read.cgi/hp/1171240129/

【中国】グーグルから軍事機密守れ、隠ぺい新技術を開発[01/05]
http://gimpo.2ch.net/test/read.cgi/news4plus/1231112455/

グーグルから軍事機密守れ、隠ぺい新技術を開発―中国
http://headlines.yahoo.co.jp/hl?a=20090105-00000004-rcdc-cn

ttp://internet.watch.impress.co.jp/cda/news/2009/01/14/22093.html

魚拓とはてなブックマークアク金にしたら
マジで魚拓もスクリーンショットもブックマークも取れなくなってて笑ったｗ
魚拓ざまあｗｗ

アク金きもちいいわ

>>929
という香具師に限ってページはパスワードもかけてないんだよな

魚拓は取られていいことないから徹底的にアクセス禁止するべき

オンラインブックマークとか気持ち悪すぎる
はてなとか犯罪者が出るくらいブックマーク中傷の宝庫だし

よう腐女子

htp://www.yomiuri.co.jp/national/news/20090225-OYT1T00066.htm
http://anchorage.2ch.net/test/read.cgi/bizplus/1235530516/
http://mamono.2ch.net/test/read.cgi/newsplus/1235546684/

ホムペ運営者としても防衛策を強化する必要がありそうだ。

BackupUrl.com - Create a cached copy of any url!
http://backupurl.com/

こんなのができたみたい。
どうすれば防げるか教えて。

環境変数を取得するページを取得してみた。
http://backupurl.com/cache/zm2rn7.html
特徴は「UAが空白」(！)、「IPは66.71.253.25」、「それ以外は全く環境変数がない」。
この辺で弾ける条件を絞り込めばいいと思う。IPで弾くのが無難か。

>>934
認証かけろ

>>935
0.0.0.0/0 で弾くのがいいな
見られたくない奴には絶対に見られないぞ

診断くん Ver 0.80a
Home/Feedback/N/Vote

一般的な情報
REMOTE_HOST 66.71.253.25　
REMOTE_ADDR 66.71.253.25　
HTTP_REFERER (none)　
HTTP_ACCEPT . */*
HTTP_HOST . taruo.net
その他の情報
HTTP_CONNECTION . (none)　
判定
66.71.253.25 (66.71.253.25)
判定：プロクシです proxy判定箇所が 1箇所、疑惑点が 0箇所ありました。
漏れ判定：漏れてはいないようです
総合評価：A+

極めて物静かなproxyです。proxy経由であることを示す情報がほとんどありません。

>>935

deny from 66.71.253.25
でとりあえず防げたみたい。どうもありがとう！

>>939
まあ、漏れが手でぶっこぬいてうｐろだに上げれば防げないがな

ttp://pc11.2ch.net/test/read.cgi/esite/1189771222/171-

171 名前：98[sage] 投稿日：2009/04/22(水) 21:00:27
>>170
元々キャッシュされてないとか、
robots.txt で撥ねられてたら無理だな。

172 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2009/04/22(水) 22:47:15
robots.txtは地味にうざい

174 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2009/04/23(木) 13:04:52
特に、ページは読めてもファイルが置いてあるところはrobots.txtでブロックされていると目茶苦茶にがっかりする

Internet Archive総合 (web.archive.org) #1
http://pc11.2ch.net/test/read.cgi/esite/1189771222/

ほ

し

>>814
【ストレージ】MEGAUPLOAD メガ被害者の会【総合】
http://pc11.2ch.net/test/read.cgi/esite/1260002862/20,29

この人？俺質問答えた野郎だけど。

保守

保守

そもそも、いまのネット空間はアメ公の創作空間。
そのアメ公の空間でアメ公の大きな会社を批判することは無駄。
アメ公空間の創設になんの貢献もできない>>１は身の程を知るべし。
アメ公空間のルールはアメ公が作るのが常識だww

ほ

し

に

ね

が

い

を

　　　　　　　　　　　　　　　　　　　　　　　　　　　ヽ
　　　　　　　　　　　　　　_,,.,､､,.ｨ-- ti- ､､､....,,,,_ 　 ',
　　　　　　 　 ,,..､､ri':'ﾞ/~ 　 ﾚ　　 　 '　 ﾞﾍ:l : : : :~,＞
　　 _,...r:::''"::／ l/ .l:/-=ニ二,'_ｰ- ､、 　 !l!;: r '"
'''＜:::::::::::::;､r'　　　　　　　　　　`'' ‐-`.､ /
-、 l::::::::::::l　　　　　　 　 　 ＜"ﾞ'i;ｿ'　　 ',
~.ヽ l:::::::::::l　　　　　　　　　　　　 ~' 　 　 '､
/ .） .l::::::::::!　　　　　　　　　　　 　 　 　 　 '､
　ヽ　.l:!l:::::l ヽ　　　　　　　　　　　　　　　 　 '､
＼ '　 l! l::!l!　ヽ　　　　　　　　　 　 　 　 　 　 ,'
　 ﾞ　 　 ヾ　　　　　　　　　　　　　　　‐'" ,. r ﾞ　　そんなに何も見えてないんじゃ
ｰ-‐i　　　　　　　　　　　　 　 ,.r,,iilll鬚髯ｦ　　　
.　　 l　　　　　　　　　　　　`''' ‐‐ ---t‐'　　　　　生きてても面白くないでしょう
￣￣￣￣￣￣~"''､' ‐ ､ 　 　 　 ー‐ノ
　　　　　　　　 　 　 ',　 ヽ　　　　 　 l
　　　　 　 　 　 　 　 ｌ　　 l　　 　 　 l
　　　　　　　 　 　 　 l　 　 l　　　　 ﾉ　　

2011

ほ

し

>>800
チンレスだけどググルウェブマスターツールでキャッシュ削除。あとは
meta name="robots" content="NOARCHIVE,NOIMAGEINDEX,NOIMAGECLICK,NOSNIPPET"
で今後のキャッシュ拒否、説明文とインスタントプレビュも拒否
がいしゅつならｽﾏｿ。

自己レス：NOIMAGEINDEX,NOIMAGECLICKは画像拒否ね。
これで検索結果にインデックスはされるが他は拒否できる。ただし俺の経験だと、
NOSNIPPETを入れると検索は補足検索結果に追いやられてしまうようだ。

>>960
亀レスや遅レスとはいうが
チンレスってなんだ？

っていうか亀にも限度があるだろｗ


魚拓
キャッシュ
アーカイブ

ってどう違うの？

ほ

し

創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね　
創価死ね　
創価死ね
創価死ね
創価死ね
創価死ね　
創価死ね　
創価死ね
創価死ね
創価死ね

創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね
創価死ね　
創価死ね　

a

ほ

ん

1408597637176.jpg

ほ

ふ

は

へ