同人サイトのロボ避けアク解について 2

ヤフのインデックス数が70超過になってたｗ
この前までは無かったのに、ロボテキ入れてなかった頃の内部ページが
今見たらごっそり拾われてる。
定期的にディレクトリ変えてるからそこにはもう何もないんだけどなー

トップしか引っかからなかったのにうちも60ページくらいインデックスされてた
メタタグも無視されてるっぽい

「百度」が動画検索のベータ版を開始
ttp://internet.watch.impress.co.jp/cda/news/2007/11/05/17406.html

悪評高い百度って事で心配

百度は悪名高いが
動画検索って同人にあんまり関係なくないか？

同じプロバイダでドメインのお尻がxxx.ad.jpとxxx.ne.jpと違うのが解析に引っかかったんだけれど、
これは提供元のプロバイダが同じでも何か違う？
初めてのことなんでよくわからないので教えてもらえるとありがたい。

>>939
多分、それは元々からドメインを持っていたプロバイダと
後から傘下に入った(吸収合併された)プロバイダでドメイン変えているんだと思う

うちがそうだから。

marunouchi.tokyo.ocn.ne.jpって昔にちゃんで規制されてたじゃん
今もかどうかは知らないけど
しつこいクローラーだったりするし

ここの皆は弾いたりしてる？

えっそれクローラーなの？
うち来てるよ…普通の閲覧者さんのアクセスだと思ってたorz

それ友人のプロバだｗ

このプロバのクローラーというのは知らないが
同プロバを利用しているユーザの誰かが
自前で設置して動かしているものじゃないかな

http://info.2ch.net/wiki/index.php?OCN%C1%B4%A5%B5%A1%BC%A5%D0%28aa5%BD%FC%A4%AF%29%B5%AC%C0%A9%A4%CB%A4%C4%A4%A4%A4%C6#content_1_2
丸の内OCN規制の流れはここが詳しい。
marunouchi.tokyo.ocn.ne.jpの普通の閲覧者さんも当然いると思う。

*marunouchi.tokyo.ocn.ne.jpと*osakakita.osaka.ocn.ne.jp
は大きな掲示板運営してるとこは、ほとんど弾いてるはず。
某所では、ホストがこれらの場合は
プロバを変更した方が、これからの自分のためですよ書かれてるｗ
*.ap.yournet.ne.jp　*.ap.gmo-access.jp　*.o-tokyo.nttpc.ne.jp
*.d-osaka.nttpc.ne.jp　*.p-osaka.nttpc.ne.jp
この辺もスパムばっか。

自分も確かにスパムでくるのは、ocnばっかなんだよね。
メルフォ名変更してるから、手当たり次第の文字羅列で
アタックされるだけで、投稿出来ないんだけど。
はてなもmarunouchiで、特にウザイなーと感じるホスト。
友人がいるから弾かないけどｗ

>945
両方来てら…orz

>>945
そのホストほとんど来てるうちって…

>945
普通に自宅のがモロそれだ…掲示板書き込んだりしないから
気づかなかったけど規制されてんのか

>946-947
普通の閲覧者の可能性も高いので弾かないであげてください…

>>946-947
いやいや、書き方が悪かったけど普通の閲覧者だって多い上で
スパムも多いねって話だよ。全部がスパムじゃない。
どういう割り当てがわからないけど、友人は
埼玉の東京から最も遠い地域に住んでるのに、marunouchi.tokyo.ocn。

>949
いや、どっちにしろうちにきてる粘着っぽかったから弾こうかどうしようか悩んでたんだ。

そか
普通の閲覧者もいるんだな
鯖負荷の具合みて大丈夫な限りは弾かないで様子見するよ
参考になりました
ありがとう

最近ｦﾁ関係ｽﾚで何か進展あったのか？

はてなアンテナは丸の内のOCN使ったりns.hatena.ne.jpになってみたりするのが不思議だ

追加。
イベント後必ずといっていいぐらい出てくる他所のサークルリアルヲチ話。
売上がどうだ箱の搬入数がどうだはまだしも（まあこれも充分ウザイが…）、
コピ製本会場でやってて…とかｽﾍﾟ前でオフすんなとかモサオタ格好どうにかしろとか。
違反を注意する度胸も無く、自分のことは棚に上げてただ不躾に観察してグダグダ話題にしたいから
イベント来てんのかこいつらは？
本を売るのも含め、他人と比べて自分の方が上と認識したいが為にイベントにでてるようにしか思えん。

marunouchi.tokyo.ocnは都内のネカフェもだよ。どこだったか忘れたけど。
あと、フリースポットもOCNのところが多い。
ホテルのフリースポットはたいがいここなんじゃないかな。AえぬAと東ヨコはOCNだった。

ダウンローダー来たら自動で弾けるようにしたいんだが、トラフィックで遮断するのってやっぱローカル自鯖しか無理だよなあ・・・
Apacheの知識もないし、レンタル鯖な自分はどうしたらいいんだろうか

ローカル自鯖ww

ローカルなのにダウンローダーきたら驚くわｗ

いや、ローカルヒキの人は自分のサイトに自分で荒らしたりするらしい
だから自分でダウンローダー使うんだろう
楽しそうだな！

ローカルでダウンローダーというと
ウイルスに感染してHDの中身がばら撒かれているというイメージも。

>959
自分でダウンローダー使って、自分で弾いて攻防戦か
楽しそうだなｗ
自分でローカルロボット検索サイト作って
自分のローカル内にクローラーを走らせて「なんど弾いても拾われる」のもいいかもしれん

つまんねえんだよ屑共

大阪で生まれたぁ〜女やさかい♪
堪忍してぇな

HTTP_USER_AGENTMozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; msn Optimized IE build03;JP)

msn Optimized IE build03;JPてことはロボかね？

UserAgent : Mozilla/5.0 (compatible; MJ12bot/v1.2.1; http://www.majestic12.co.uk/bot.php?+)

おもいっくそbotって書いてあるって事はそうなんだよな？今日来てた。初めて見た。

>>965
あー、それうちにも来てた。
忍者では拾われていていなかったけど、鯖のアク解で解った。

とりあえず.htaccess使える人は検索避け支援にあるリストの追加をおすすめ
たいていはそれでなんとかなる

cgiの解析を外部ファイルで記述してるんだが
そのファイルのみ覗いてる人が数人いる
これはロボが悪さしてるのかな？気持ち悪いが大手なんで弾きづらい

>968
解析部分のｼﾞｬﾊﾞｽｸを外部にしてるが
ブラウザの仕様でリンク元がその外部ファイルになることがある
所謂誤爆じゃね？

ところでｼﾞｬｳﾞｧｽｸって何？コーヒー学校？

コーヒー学校わーおもしろーい！バロス腹いてえ！＾＾＾＾＾＾

誤爆かーなら問題なさそうだな>969ありがとう
毎回必ず誤爆している人がいるが気にしないでおくよ

誤爆もあると思うが
鯖によってはlogファイルがブラウザから見えることがあるから注意
ぐぐるにキャッシュされてることもある
変なホストやUserAgent調べるのにぐぐったら
アク解のログがずらずら出てきた

>>973
968の外部ファイルってたぶんjsだと思うんだけど、ログとは違うでそ。
jsなら見ようと思えば、いくらでも見えるよ。
お勧めアク解スレでも、昔話題になったけど
ぐぐるに引っかかる解析ログは、パスがかかってない事が多いよ。
自分も解析を外部ファイルにしてた時、必ず同じ人がjsの誤爆してった。

・

なんかヤフって行儀悪くなってる？
今までひろわれてなかったアドレスが拾われているようだ…。
ヤフブクマの足跡があるけどそのせいなのかたまたま同時期だったのか。
入れかけてやめてあった.htaccessを早くやらなきゃだめだなあ。

同じくﾔﾌにいきなり拾われるようになった
うち登録されてないしここでも何度か言われてるからブクマは関係ないと思う
被リンク数が多いと拾われやすいって話もあったよね
でも被リンクもブクマも変化無かったのに急に掛かるようになったから違う理由かも

それよりいまだに百度からキャッシュが消されないのが嫌だ
403じゃなく404返してみたが意味ないみたいだ('A`)

ヤフ、ブクマは関係ないっぽい。
うちはブクマされてるインデックスは拾われてないのに
別のページ（ブクマ無し）が拾われてる

.htaccessのおかげで中身は拾われてないから
ＵＲＬで検索でもしない限り出てこないんで、別にいいや。
きっとヤフがバカなだけだと思っておく。

同じくMETAタグとロボテキ仕込んでるのにヤフに急にトップページ拾われるようになったからここ来てみた
トップ以下は拾われてないようだしリファラで弾いてるので
とりあえずは何も知らない人がコピペしてまで入ってくることはないと思いたいけど、どうなってんだ

どうなってんだってヤフーの仕様が変わっただけだろ
バイズと同じ中国企業なんだから騒ぐだけ無駄

>>980
もし仕様変更があったならそのソースを知りたい
そう思うもんだ

騒ぐだけ無駄って思う奴がここにいる事が自体が無駄だし意味不明

自分は逆に消えた。ずっとインデックスされて、どうにもならなかったのに…
ブクマは関係ないと思うけど、リンク先は関係してかもしれない。
某サイトに２つサイトをリンクされてたんだけど、そこが閉鎖したら
２つとも消えたんだよね。偶然かな？

>>981
http://diamond.jp/series/seo/10004/?page=3
http://www.misao.gr.jp/~koshian/?20071127S1

>>981
ttp://searchblog.yahoo.co.jp/weather_report/