まとまりのないブログ

something which something is something

交差運転日記

crawl217.tkl.iis.u-tokyo.ac.jp というクローラーがサイトに頻繁にアクセスしている

投稿日:

apacheのログを見てみると、crawl217.tkl.iis.u-tokyo.ac.jpというクローラーが頻繁にアクセスしていることがわかった。ログにurlがあって、http://www.tkl.iis.u-tokyo.ac.jp/~crawler/にクローラーの説明がある。その説明は、

Steeler とは? 何をしているの?

Steeler は Web クローラ (ロボット) , すなわち自動的に Web 上のページを渡り歩くソフトウェアです. 開発と運用は 東京大学 喜連川研究室 で行なわれています. 当研究室ではクローリングで収集した文書を元にサイバー空間の性質の 分析や理解に取り組んでいます.

当方の目的は公開された文書をなるべく大量に集めることにあり, サイト管理者の方々にご迷惑をおかけすることは決して本意ではありません. もし, Steeler のアクセスがあなたのサイトに問題を起こすようでしたら, 下記の方法で ロボット除け の設定をして頂くか, 当方 までご連絡をお願いします. ご協力よろしくお願いします.

研究室での分析や理解をするためにクローラーが情報収集をしている、ということらしい。

-交差運転日記

執筆者:


comment

メールアドレスが公開されることはありません。

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

関連記事

no image

mysqlへの接続が8時間後に切れる

java.lang.Exception: The last packet successfully received from the server was20910 milliseconds ago …

デバイヤーの鉄フライパンを買った

通信販売でデバイヤーというフランスのメーカーの鉄フライパンを買った。フライパンというかクレープパンというタイプの縁が浅いフライパン。鉄フライパンなので空焼きという作業が必要なので、コンロの火を強火でフ …

no image

RYBOのバランスチェア

RYBO(リボ)のバランスチェア。椅子の固有名はrybo BALANS AEROBIC。デザインはOddvin Rykkenという人によるものらしい。フレームは木製の成型合板でできており、座ると適度に …

no image

firebirdのテーブルがDROPできない

categoryという名前のテーブルを作成して、それを削除しようとしたら、 SQL> drop table category; Statement failed, SQLSTATE = 42000 u …

no image

ProLiant ML110 G6 が12800円

http://nttxstore.jp/_II_HP13476513 お願い この商品はお一人様1台までとさせて頂きます。 昔は家族総出でスーパーの特売に(今もか),ということもあったがインターネット …