【毎日新聞】「変態記事の海外配信問題」で謝罪＆デジタルメディア局長（明日に取締役就任予定）などの関係者を処分へ★５

ちょっとおもしろいもの発見したよ
Mainichi Daily Newsのサイトがクローラーをどういうふうに制御しているのかと思って
robots.txtを見てみたｗ

まず、このURLにアクセス
↓
http://mdn.mainichi.jp/robots.txt

そうすると、こういう文字列が出る
↓
User-agent: ia_archiver
Disallow: /culture

ia_archiverというのはInternet Archiveのクローラー。Disallowは文字通り、「許可しない」という意味。

要するに、「犯行」が行われていた http://mdn.mainichi.jp/culture/のディレクトリ以下の
アーカイブを参照不能にしたいんだねｗ