同人サイトのロボ避けアク解について 3

>>931
Mynifty/1.0
オンラインブクマ？

>>933
マイニフティは会員向けのポータルカスタマイズサービス。
オンラインブクマもどきも使えるけど、非公開なので安心していいお。

>>934
非公開なのかよかった。
ありがとう。

見たことないリファラを検出
http://127.0.0.1/php/new/list.php
ローカルホストかな？

#国立大学法人帯広畜産大学
deny from 158.208.0.0/16

pider64.yandex.ru Yandex/1.01.001 (compatible; Win16; I)

ロシアのGoogle(笑)らしい

#有限会社Colors
deny from lupo.jp

PCサイト変換サービス
動画変換、PDF変換、圧縮ファイル解凍表示、JavaScriptリンク、クッキー対応、テキストコピー、画像加工等

>>939
念の為IP追記。

deny from 124.146.150.24/30

150.70.84.26 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
150.70.84.152 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)

ウイルスバスターって聞いたんだけどほんとにそうなん？

inetnum: 150.26.0.0 - 150.100.255.255
netname: JAPAN150
country: JP
descr: Japan Network Information Center
admin-c: JNIC1-AP
tech-c: JNIC1-AP
status: ALLOCATED PORTABLE
notify: [email protected]
mnt-by: MAINT-JPNIC
changed: [email protected] 20070824
source: APNIC

Network Information: [ネットワーク情報]
a. [IPネットワークアドレス] 150.70.0.0/16
b. [ネットワーク名] TRENDMICRO
f. [組織名] トレンドマイクロ 株式会社
g. [Organization] Trend Micro Incorporated
m. [管理者連絡窓口] YT7986JP
n. [技術連絡担当者] TH7667JP
p. [ネームサーバ] tmns1.trendmicro.com
p. [ネームサーバ] tmns2.trendmicro.com
p. [ネームサーバ] tmns5.trendmicro.com
p. [ネームサーバ] tmns6.trendmicro.com
[割当年月日] 1991/07/02
[返却年月日]
[最終更新] 2009/04/01 13:56:04(JST)

複数のサイトで調べるといい

UAによる制御について（Deny from env=NG）
SetEnvIfNoCase User-Agent "Googlebot" NG
SetEnvIfNoCase User-Agent "msnbot" NG
をまとめて
SetEnvIfNoCase User-Agent "bot" NG
と書くことに何か問題があるのでしたらお教えください。

解説サイトを巡回すると、この二つを分けて書いているサンプルがありまして
何か理由があるのかと気になりました。

i118-20-65-54.s04.a013.ap.plala.or.jp TopHatenar (http://tophatenar.com/)

ブログランキングだそうで
競ってるわけじゃないからうざくて仕方がない

IP: 127.0.0.1
Host: localhost
Refererer: ttp://www.onlinegauge.com/
UserAgent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)

リファラスパムっぽいけど、IPローカルホストで何度かきて気持ち悪い
IPをローカルホストに偽装が出来るの？

>>943
これ俺も知りたい
UAにbotが含まれている普通のブラウザって何かあったっけ？

ロボテキやメタタグに従ってくれるロボも弾くって事だから
ウェブマスターツールみたいのが出た場合、使えない可能性もあるし
結局は管理人のポリシー次第だけど
普通のブラウザと重なる心配だけなら弾けばいいんじゃない？

>>947
thx!
ロボテキが効かない（http://サーバー名/~アカウント名/）タイプの鯖だから、
.htaccess頼みなんだ。
ウェブマスターツールとかは気にしていないんで、
botでまとめてはじくことにする。
教えてくれてありがとう。

jugemの有料版ってどうなんだろう
Basic認証できるみたいなんだけど

>>949
以前使用してたけどBasic認証できるよ
それだけが目的なら月３００円ちょいは高いかもしれないが

ちなみにさくらについてくるブログもBasic認証できるよ
自分はさくらを利用しつつ
さくらブログの使い勝手の悪さとjugemのテンプレートが魅力で
お金出して借りてたけど

よくUAの「http」で弾くっていうけど、「html」はどうだろう？
最近来るロボが今までUAにhttp入れてたのに、抜くようになった
UAで変更あったのはhttpが抜けたのみ
普通のブラウザはhtmlは入らないよね？

>>951
そんなの出てきたのか…
うちの解析で見る限りでは「html」が入るブラウザはない
弾いちゃって大丈夫だと思う

>>952
ありがとう。弾くことにする。
ここの人はbotで弾けられると思うけど、一応UA。

Nokia6680/1.0 (4.04.07) SymbianOS/8.0 Series60/2.6 Profile/MIDP-2.0 Configuration/CLDC-1.1 (botmobi find.mobi/bot.html [email protected])

>>953
米の国のロボなのかな？
確かに俺んとこだと「bot」で弾いちゃってるから、解析には表れてなさげだ

複数のUAで来るas13448.comって何もんだ?

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Comcast; .NET CLR 1.1.4322; .NET CLR 2.0.50727; Comcast)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; {4701423A-673E-BBFB-0244-850AE6AE9A45})
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; CCTB 1.2)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SIMBAR={B57C412B-076C-4d24-A965-1B9A3C228CF4}; Crazy Browser 2.0.1)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; HanseNet DSL; .NET CLR 1.1.4322)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; yie6_SBC; SV1; FunWebProducts; SpamBlockerUtility 4.6.1; HbTools 4.7.2; yplus 5.1.03b)

>>955
ホストからIP引いて逆引きするとwww.websense.comと出る
そこのWebセキュリティを通したアクセスと推測

ぐぐるのウェブマスターツールのUA変わった？

Host: ff-in-f88.google.com
Host: 74.125.16.68
Host:7 2.14.193.69
Host: 72.14.195.226
Host: 2.14.194.33
UserAgent: Google-Site-Verification/1.0

1秒に1,2回アクセスあって、軽く爆撃状態なんだけど…
↓爆撃後、なぜか間を開けず連続できた

Host: 216.104.15.138
UserAgent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)

Host: 92.f5.344a.static.theplanet.com
UserAgent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.5) Gecko/20041107 Firefox/1.0

>>956どうも
トレンドマイクロのbotIPまた増えたな
今までは150.70.xxx.xxだったのに

OrgName: TREND MICRO INCORPORATED
OrgID: TREND-7
Address: 10101 N. De Anza Blvd,
City: Cupertino
StateProv: CA
PostalCode: 95014
Country: US

NetRange: 216.104.0.0 - 216.104.31.255
CIDR: 216.104.0.0/19

>>958
アク解見てみたら、昨日から急に増えてた。
ありがとう。追加した。

解析見てて気付いたんだけど、
ひょっとして携帯のjigブラウザってただのフルブラウザじゃなくって、取り込み・変換型なのか？

cgi型の解析が、私のサイトのページからじゃなく、jigの取り込みページっぽいアドレスのところから呼び出されてる…
検索避けに弾いた方が良いのかな。
少数とはいえ客がいるから、ちょっとためらってる…

いつも15ﾎﾄ・300ﾋﾞｭｰくらいの引きこもりサイトなんだけど、今日は1000ﾋﾞｭｰ超えてびっくりした。
ログ見たら、ほとんどがWebsite Explorerのアクセス。
うちは携帯やダウンローダー系は弾いてるんだけど、indexをひたすらリロードしてるみたい。
合間に携帯が入るけど、交互なので同じ人だと思う。
403のページには携帯もダウンローダーも使えないから、ブラウザ変えてねと
注意書きがあるんだけど、意味がなかったか。

ブラウザの機能なのか、リアルタイムで1,2秒・1アクセスペースでリロード中で
403以外に何か対処できないんだろうか？
鯖にも影響がありそうで怖い。

>>961
Website Explorerもかなり凶悪なんだな、知らなかった。
うちはこの前、htaccessを書き直したときにうっかりスペルミスって、
ポッキーにラッシュかまされた。
サイト内容まるまる圧縮したダウンロードファイル用意してるのに……

>>960
jig、同じく気になってる。
アク解見るに、どうもjigの鯖にキャッシュされているような。

jig、アプリ版の方は多分気にすることはないと思うが
jigブラウザwebはたしかに変な足跡を残す
取り込み表示された後、キャッシュされて検索に掛かったりすることがあるとしたら弾くしかないが・・・

変なリファラ残すのがブラウザの方なのかな？ソフトバンクだけ？
mobile.ogk.yahoo.co.jpでｱﾎｰの方で検索すると、ひっかかるね。
一応キャッシュは見れないみたいだけど。よくわからん。
携帯は誤爆酷いし、やっぱり不安。

そう、誤爆がね。携帯で閲覧される時はホントそれが一番の心配。
.htaccessで弾いてるけど抜けあるし。難しい…

ttp://br.jig.jp/pc/ip_br.html
とりあえず、jigのIP一覧。

ttp://www.dspt.net/tools/mobile_ip/index.html
こっちはMobile IP。allowとdenyを置き換えれば使える。

>>966
thx!　参考にさせてもらいます

#株式会社学生情報センター
deny from .nasicnet.com
deny from 210.163.16.0/22

数ヶ月前から『fts204.imagica.co.jp』というホストが来てるんだけど。
これって、中の人が来てるんだろうか。
うちは二次の８０１サイトだけど、取扱いジャンルとの繋がりはない。
一応、ホストとＩＰで弾いてるんだけど定期的に来ている模様。

少し前に『lager.kirin.co.jp』も来てた。
会社から虹サイトなんか見てんじゃねーよ。心臓に悪いじゃないか。

会社に24しちゃえば

>>969
lager.kirin.co.jpうちにも来たことあるわ。
サーバ名がラガーなんだ！と爆笑しながらアク禁したけどな。
今はco.jp全部弾いてる。

ramen.yamucha.comってホストが「Mozilla」だけのUAで来たがなんなんだ
サイトURLでもないみたいだし調べたらさくらの鯖だがドメイン登録はバリユードメインだったし
単なるネタで取ったのか

…それにしてもプロバイダ（？）なのが不気味

>>972
やむちゃブログってのの関連ロボじゃないか

もうすぐ次スレを立てる頃だけど、>>1の
htaccessテンプレと裏サイトオーナーのためのSmall Tipsは
サイトが消えているので修正した方がいいみたい
あ、wikiもね

現在.htaccessとBasic認証である程度は弾いてるにも関わらず、バスターとググる先生が巡回に来る。
どちらも認証パスして中に入ってきてる。
来たら来たで片っ端から弾いているものの、ログを片っ端から覗くのも限界に来てる。
ググる先生は自分がくろーむ使ってた時期があるから、そのせいかもしれない。
第一、閲覧者にセキュリティソフトとブラウザを限定させるのも筋違いだし、自分でどうにかするしかないんだが、
Basic認証かけてるディレクトリ全てを共有SSLで暗号化かけるのは、有効だろうか？
Basic認証はSSLかけないとネット上に垂れ流しと聞いた事があるので、
使ってる鯖が共有SSL無料だし、効果があるならやってみようかと思っているんだが。
勉強しはじめたばかりなんで、的外れな事言ってたらすみません。

突破してくるものなんだ。随分面倒そうだけど。
クローラのポーリング順序の図を見てたらエヴァを思い出した。

>976
共有SSL自体は使ってる鯖はバカな自分でも楽に出来るんだ。
リンクを全てある規則に基づいたアドレスに変えればいいだけだから、今あるディレクトリは名前変えてうｐし直して、htmlファイルの中のリンクを全部書き直せばいいだけ。


同じ鯖で携帯用とPC用で全部分けてて、多分500ページぐらいあるから、効果がないとさすがに面倒だなと思って。
最近ここ見るまでウイルスバスターがそんなやつとは思わず、自分バスター遣いなんだ。
ちょっと不味いなと思ったのが、設置してる拍手の管理画面にまでバスター入り込んできてたのが一番の理由。
もしかしたら2009にバージョンアップしたからかもしれない。
ここまでタチが悪いとは思わんかった＿|￣|○

>>975
勘違いだったらごめんだけど
Basic認証クリアして見に来てる人がバスター使いなら
ページを開いたときに同時にバスターの足跡が残るものだし
>>975がバスター使いなら拍手管理画面に入り込んで当然じゃないかな
IPで弾いてれば中身を持ってかれてはいないと思うよ

ググる先生のほうは分からない、Basic認証突破されるなんて怖すぎる
実はGoogleツールバーのUAだったなんて落ちならいいんだけど

gate.library.city.hiroshima.jp

Domain Information: [ドメイン情報]
a. [ドメイン名] HIROSHIMA.JP
e. [そしきめい]
f. [組織名] 広島ドメイン
g. [Organization] Hiroshima Domain
k. [組織種別]
l. [Organization Type]
m. [登録担当者]
n. [技術連絡担当者]
p. [ネームサーバ] a.dns.jp
p. [ネームサーバ] b.dns.jp
p. [ネームサーバ] c.dns.jp
p. [ネームサーバ] d.dns.jp
p. [ネームサーバ] e.dns.jp
p. [ネームサーバ] f.dns.jp
p. [ネームサーバ] g.dns.jp

図書館からアクセスってことでいいんだろうか

>>979
それはたぶん一般人だね　気になって調べたら公式HPに
館内に設置してある端末から、インターネットが利用できます。
って書いてあったよ

図書館からアクセスとか怖いね　履歴を消せない素人が使ったらと思うと((；ﾟДﾟ))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ

>>979
広島市にはまんが図書館というヲタのたまり場がある。

InfoPath使ってる人はどうしてる？
パス制なんだけど。