行儀の悪いサーチエンジン・ロボット

DoS攻撃と見紛う怪しい動きをするロボットを報告し、対策していきたい。

とりあえず http://www.fast.no/ のロボットのアクセスで、なんでこのページが？というページ（しかもCGIだ）がアクセス数トップになってたので、robots.txtに
User-agent: fast
Disallow: /
でお帰り頂いています。
他にキツいロボット情報あればご報告下さい、まとめていきます。

2getだそば!!

Naverのnabot。なんかいろんなUAでやってくるが、中にはrobots.txtを無視するものもあり。
しかも、アクセス間隔は軽めのページで7ファイル/秒くらい。鬱陶しいので.htaccessで拒否
してやっても、前やってきたときに拾ったファイルは同じように参照する。

robots.txt置いてれば安全かと思ってた。。。

ちゅーわけであげ！

こんなサイトがあるよ。
robotはぢきについて
http://c-moon.jp/robots.shtml

ちなみにnabotは
＞相変わらずネタにこと欠かないところです(--;
＞ちなみにrobots.txt読んでません。
＞IPアドレスで蹴って下さい。

>>5
サンクス！かなり参考になりますね。

nabotがかなり悪い、という噂は耳にしていたんですが、
ウチで借りてるレンタル鯖にはnabot来ないんですよね。
鯖屋さんがIPで蹴ってくれてるのかな。

今日リアルタイムでログを見ていたら、全然関係ないページを取りにきて
404ばっかり出しているロボットがいた。
UserAgent名はログとってなかったのでIPから調べてみたら、Korea telecomってとこ。
速攻で.htaccessでアクセス禁止したけど、絨毯爆撃はｲﾔﾝ。
落ち着いたらUAログ取るようにします。

もう知ってるかもしれんが、nabot（naver）が2ちゃんねるを……

【ネット】2ちゃんねるも横断する掲示板検索サービス
http://news2.2ch.net/test/read.cgi/newsplus/1040900873/l50

「サーチエンジン」で検索したらこのスレが一番に出たよゲラゲラ
http://bbssearch.naver.co.jp/search.naver?where=bbs&query=%A5%B5%A1%BC%A5%C1%A5%A8%A5%F3%A5%B8%A5%F3
便利だとは思うのですが…あんまり負荷かからないようなアクセスを工夫して欲しいですよね。