>>485 意味ないだろ・・
クローラーが「広告」「スポンサードリンク」
という存在するかどうか不確かなHTMLを手繰るよりも
おもいっきり埋め込まれているadsenseのコードを探せばいいだけなのに
わざわざスポンサードリンクだけをターゲットにしているかあ?
FrontPage - W-ZERO3 Wikiって、Gigazineがやってたんだね。
アフィリ目的のクズ野郎が。
>クローラは、同じURLを短期間に何度も巡回してはいけないから
自主規制でしょ?
Baiduなんて1日何千回とやってくるよ