先日からサーバーをいろいろといじっているのですがその中で異常なアクセスを見つけてしまいました。
GoogleやYahoo!などのクローラーが日常的にみみずんさーばー内のデータを収集していくのですが、そんな中、ありもしないファイルを見ようとしているクローラーを見つけてしまいました。
その数、１日あたり７０００件以上。いやぁもうね、びっくりですよ。
発信元はCyberAgentの運営するameba.jpのアドレスでブラウザ情報にはmicroad.jpの文字。とりあえず二日前に問い合わせてみたものの返事なし。
ただでさえ細い回線だから、404エラーのページを送るだけでもバカにならんので早急に対策して欲しいのに音沙汰なし。アクセスログを見ると問題のクローラーはURLのポート番号を無視するようになっているようです。
もうねぇ、ぶちきれですよ。先日のdattohtml.plの稼動さーばー変更の際に状況を調べたのですがdattohtml.plのアクセス数が３万。そのうち５０００が、そのクローラーが占めていたんですよ。少しは遠慮しろよと。
しかも、この会社。クローラーの収集ポリシーに関してのページが一切なし。他のサイトによるとrobots.txtをも無視するようで非常にお行儀の悪いプログラムのようです。
