まとまりのないブログ

something which something is something

交差運転日記

crawl217.tkl.iis.u-tokyo.ac.jp というクローラーがサイトに頻繁にアクセスしている

投稿日:

apacheのログを見てみると、crawl217.tkl.iis.u-tokyo.ac.jpというクローラーが頻繁にアクセスしていることがわかった。ログにurlがあって、http://www.tkl.iis.u-tokyo.ac.jp/~crawler/にクローラーの説明がある。その説明は、

Steeler とは? 何をしているの?

Steeler は Web クローラ (ロボット) , すなわち自動的に Web 上のページを渡り歩くソフトウェアです. 開発と運用は 東京大学 喜連川研究室 で行なわれています. 当研究室ではクローリングで収集した文書を元にサイバー空間の性質の 分析や理解に取り組んでいます.

当方の目的は公開された文書をなるべく大量に集めることにあり, サイト管理者の方々にご迷惑をおかけすることは決して本意ではありません. もし, Steeler のアクセスがあなたのサイトに問題を起こすようでしたら, 下記の方法で ロボット除け の設定をして頂くか, 当方 までご連絡をお願いします. ご協力よろしくお願いします.

研究室での分析や理解をするためにクローラーが情報収集をしている、ということらしい。

-交差運転日記

執筆者:


comment

メールアドレスが公開されることはありません。

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

関連記事

no image

apache2.2 + ssl

rapidsslという格安ssl証明書を取得してapache2.2に設定、ブラウザにて表示確認まで作業を完了。のべ作業時間は、約3時間というところ。(途中はまって調べ物とトライ&エラーに時間がかかって …

no image

LAMYのサファリとアルスターの違い

万年筆での話。単純にボディの材質がプラスチックからアルミになっただけかと思いきや,キャップの性能が違うということに気付いた。アルスターの方がキャップをはめたときの密封の性能が良いのだ。サファリならしば …

no image

ソフトバンクのプリペイド携帯をチャージ

360日の有効期限がそろそろ切れるため3000円分をチャージ。 「残高は8942円です。残高の使用期限は・・・」 あれ?残高はチャージしたばかりだから3000円のはずが,なぜ9000円近く残っているの …

no image

将棋倶楽部24は強すぎ

久しぶりに将棋倶楽部24で将棋を指してみたところ全く勝てなくなってしまっている。レーティングは400点前後で12級~13級をうろうろしていたがこのクラスでも相当強い。いや強すぎる。相穴熊で180手ぐら …

no image

寄付を断ることの憂鬱

“ピンポーン” 「はい?」 「ウガンダで飢えに苦しんでいる子供たちのために支援をお願いします。」(ペコリ) 「・・・・・・」