同人サイトのロボ避けアク解について 4

>515
「+Robot」。
＞robots.txtを無視します。
＞管理画面のリンクからパスワード認証ページもスキャンしてきます。
＞特定サイトを個人でweb自動巡回をするならまだしも全く関連性のない大量のサイトを同じIP・UAで巡回するとは考えられません。
＞phpなどで作成されたweb自動巡回プログラムによる偽装ユーザーエージェントの可能性もあります。
＞利用目的も不明確でrobotsを読まないクローラーはブロックするのが良いでしょう。
＞あまりにアタックが酷い場合は.htaccessでdeny（※一部のユーザーに障害が出ます）
＞deny from .chiba.ocn.ne.jp

こっちはググれば情報が出てくる
#facebookexternalhit
deny from 69.0.0.0/8

顔本に１つでも本人・第三者が投稿したページリンクがあるとrobots.txtガン無視・非公開URLもクロールする透過性プロクシbot