まとまりのないブログ

something which something is something

交差運転日記

crawl217.tkl.iis.u-tokyo.ac.jp というクローラーがサイトに頻繁にアクセスしている

投稿日:

apacheのログを見てみると、crawl217.tkl.iis.u-tokyo.ac.jpというクローラーが頻繁にアクセスしていることがわかった。ログにurlがあって、http://www.tkl.iis.u-tokyo.ac.jp/~crawler/にクローラーの説明がある。その説明は、

Steeler とは? 何をしているの?

Steeler は Web クローラ (ロボット) , すなわち自動的に Web 上のページを渡り歩くソフトウェアです. 開発と運用は 東京大学 喜連川研究室 で行なわれています. 当研究室ではクローリングで収集した文書を元にサイバー空間の性質の 分析や理解に取り組んでいます.

当方の目的は公開された文書をなるべく大量に集めることにあり, サイト管理者の方々にご迷惑をおかけすることは決して本意ではありません. もし, Steeler のアクセスがあなたのサイトに問題を起こすようでしたら, 下記の方法で ロボット除け の設定をして頂くか, 当方 までご連絡をお願いします. ご協力よろしくお願いします.

研究室での分析や理解をするためにクローラーが情報収集をしている、ということらしい。

-交差運転日記

執筆者:


comment

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

関連記事

no image

認証情報の誤入力が所定回数を超えました

おかしい。絶対に正しい合言葉を入力しているはずなのに認証できない。母親の旧姓をひらがな入力で、間違えるはずがないんだが。で、当行所定時間経過後というのは何時間後なのか。

no image

モモナチュラルのデスクの感想

価格は約5万円の品物で品質とのバランスはまずまずこんな物かなと思う。7~8万だとよっぽど気に入らないと手が出せないし、かといって2~3万だとこのデザインと品質の机は作れないだろうし。F031デスクとか …

no image

Celeron dual-core E3300 のベンチマーク

Celeron dual-core E3300 を使って新たにPCを自作したので記念にcrystalmarkというベンチマークソフトを使ってのベンチマーク。 クロックはノーマル。 マザーボードはDG4 …

no image

完全にkeviチェア

中古 Fritz Hansen チェア made in denmark ② 当方素人の為、詳しい内容が分かりかねますので画像にて判断願います。 画像を見た限りでは完全にkeviチェア。2002年製のプ …

no image

謎の不正アクセス

ホームページが表示されないから変だと思っていたら,index.phpに下記コードが勝手に挿入されていた。パスワードが割られてしまった模様。何がしたいのかは解読不能・・・。 とりあえずFTPのパスワード …