クローラってのはGoogleとかYahooとかの検索サイトが
Webページの情報を集める為に動かしているプログラムの事。

普通のクローラはたまにやってきて情報を収集するだけなのに、一部行儀の悪いやつがいる。
行儀が悪くて有名なのは、中国の検索サイト「百度」のクローラである”Baiduspider”
こいつは本当にアタックが激しいので我が家のサーバーでは弾いてる。

百度以外で激しいのはこれまでやって来た事がなかったんだけど、
先週木曜くらいからずっと15秒置きにサーバーにやってきてる奴がいた。その名は”ichiro”

どうやら、gooのクローラーらしい。

日本のサイトだったらその内収まるだろうと放置してたんだけど、
今見たら相変わらず15秒置きでアクセスしてる。。

こんな感じ
====
203.131.250.39 - - [22/Dec/2008:22:04:56 +0900] "GET /blog/index.php?blogid=1&archive=1981-08-04 HTTP/1.1" 200 11780 "-" "ichiro/3.0 (http://help.goo.ne.jp/door/crawler.html)"
203.131.250.39 - - [22/Dec/2008:22:05:11 +0900] "GET /blog/index.php?blogid=1&archive=2033-02-12 HTTP/1.1" 200 11680 "-" "ichiro/3.0 (http://help.goo.ne.jp/door/crawler.html)"
203.131.250.39 - - [22/Dec/2008:22:05:26 +0900] "GET /blog/index.php?blogid=1&archive=1981-08-03 HTTP/1.1" 200 11780 "-" "ichiro/3.0 (http://help.goo.ne.jp/door/crawler.html)"
203.131.250.39 - - [22/Dec/2008:22:05:41 +0900] "GET /blog/index.php?blogid=1&archive=2033-02-13 HTTP/1.1" 200 11680 "-" "ichiro/3.0 (http://help.goo.ne.jp/door/crawler.html)"
203.131.250.39 - - [22/Dec/2008:22:05:56 +0900] "GET /blog/index.php?blogid=1&archive=1981-08-02 HTTP/1.1" 200 11780 "-" "ichiro/3.0 (http://help.goo.ne.jp/door/crawler.html)"
203.131.250.39 - - [22/Dec/2008:22:06:11 +0900] "GET /blog/index.php?blogid=1&archive=2033-02-14 HTTP/1.1" 200 11680 "-" "ichiro/3.0 (http://help.goo.ne.jp/door/crawler.html)"
203.131.250.39 - - [22/Dec/2008:22:06:26 +0900] "GET /blog/index.php?blogid=1&archive=1981-08-01 HTTP/1.1" 200 11780 "-" "ichiro/3.0 (http://help.goo.ne.jp/door/crawler.html)"
203.131.250.39 - - [22/Dec/2008:22:06:41 +0900] "GET /blog/index.php?blogid=1&archive=2033-02-15 HTTP/1.1" 200 11680 "-" "ichiro/3.0 (http://help.goo.ne.jp/door/crawler.html)"
(http://help.goo.ne.jp/door/crawler.html)"
====

よく見たらブログのアーカイブを手当たり次第に探してるっぽい。
ありもしないものを1日ずつ調べてるなんて。
しかも2033年。。w

頭が悪すぎるのでIPで弾く事にした。