まとまりのないブログ

something which something is something

交差運転日記

crawl217.tkl.iis.u-tokyo.ac.jp というクローラーがサイトに頻繁にアクセスしている

投稿日:

apacheのログを見てみると、crawl217.tkl.iis.u-tokyo.ac.jpというクローラーが頻繁にアクセスしていることがわかった。ログにurlがあって、http://www.tkl.iis.u-tokyo.ac.jp/~crawler/にクローラーの説明がある。その説明は、

Steeler とは? 何をしているの?

Steeler は Web クローラ (ロボット) , すなわち自動的に Web 上のページを渡り歩くソフトウェアです. 開発と運用は 東京大学 喜連川研究室 で行なわれています. 当研究室ではクローリングで収集した文書を元にサイバー空間の性質の 分析や理解に取り組んでいます.

当方の目的は公開された文書をなるべく大量に集めることにあり, サイト管理者の方々にご迷惑をおかけすることは決して本意ではありません. もし, Steeler のアクセスがあなたのサイトに問題を起こすようでしたら, 下記の方法で ロボット除け の設定をして頂くか, 当方 までご連絡をお願いします. ご協力よろしくお願いします.

研究室での分析や理解をするためにクローラーが情報収集をしている、ということらしい。

-交差運転日記

執筆者:


comment

メールアドレスが公開されることはありません。

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

関連記事

no image

Dell Latitude E6520 を買ってみた

デルのノートパソコンを購入。型はLatitude E6520という法人向けのモデル。あまりお金をかけずにカスタマイズして10%OFFも適用しておよそ12万弱。業務用のモデルだからかどうかわからないが付 …

no image

kensington expert mouse 7.0 mac os X でmouseworksが起動できない件

環境 mac os X 10.4 cpu:core 2 duo 製品に付属してあるインストールCDの中にあるmouseworksは、intel CPU を使ったmacでは使用できない模様。下記サイトよ …

no image

internet explorerが起動後にフリーズするわけだが・・・・

ie6を起動したらホームページの読み込みの画面のまま、ずっと接続中になる。ほっといたら4~5時間そのままで読み込み続けてしまう。これはいかんと思ってie8にバージョンアップをしてみたがやはり同じ現象が …

no image

高知信用金庫の取引履歴開示請求手数料は1年につき1050円

高すぎる。楽天でさえ全部で1000円だというのに。20年分必要だとしたら21000円もかかる・・・。まさか手書きではないと思うが。

no image

okyuu.com が2010年9月21日に閉鎖

ITに関する質問、ノウハウサイト [okyuu.com] 価格.comが企画・運営するITエンジニア向けのQ&A形式SNSであるokyuu.comが2010年9月21日に閉鎖する模様。 ok …