クローラー＆過剰リロード対策スレ2【新バーボン】

21　BBON.game9.525　　 66.249.66.211 (crawl-66-249-66-211.googlebot.com) 4
22　BBON.hobby7.506　　66.249.66.172 (crawl-66-249-66-172.googlebot.com) 3
23　BBON.life7.536　　66.249.66.10 (crawl-66-249-66-10.googlebot.com) 3
24　BBON.society3.471　　66.249.65.8 (crawl-66-249-65-8.googlebot.com) 3
25　BBON.pc8.937　　66.249.65.43 (crawl-66-249-65-43.googlebot.com) 3
26　BBON.game10.958　　66.249.65.34 (crawl-66-249-65-34.googlebot.com) 3
27　BBON.news18.587　　66.249.66.209 (crawl-66-249-66-209.googlebot.com) 3
28　BBON.qb5.864　　66.249.65.207 (crawl-66-249-65-207.googlebot.com) 3
30　BBON.that3.546　　66.249.66.71 (crawl-66-249-66-71.googlebot.com) 3

よく考えると、
googleは(よほどページ毎の取得間隔をあけていなければ)
測定単位時間内にクロールを終えるから
あまり影響ないのかもね。
区切りをまたいだ時には取得できないページが出るだろうけど。