まとまりのないブログ

something which something is something

交差運転日記

crawl217.tkl.iis.u-tokyo.ac.jp というクローラーがサイトに頻繁にアクセスしている

投稿日:

apacheのログを見てみると、crawl217.tkl.iis.u-tokyo.ac.jpというクローラーが頻繁にアクセスしていることがわかった。ログにurlがあって、http://www.tkl.iis.u-tokyo.ac.jp/~crawler/にクローラーの説明がある。その説明は、

Steeler とは? 何をしているの?

Steeler は Web クローラ (ロボット) , すなわち自動的に Web 上のページを渡り歩くソフトウェアです. 開発と運用は 東京大学 喜連川研究室 で行なわれています. 当研究室ではクローリングで収集した文書を元にサイバー空間の性質の 分析や理解に取り組んでいます.

当方の目的は公開された文書をなるべく大量に集めることにあり, サイト管理者の方々にご迷惑をおかけすることは決して本意ではありません. もし, Steeler のアクセスがあなたのサイトに問題を起こすようでしたら, 下記の方法で ロボット除け の設定をして頂くか, 当方 までご連絡をお願いします. ご協力よろしくお願いします.

研究室での分析や理解をするためにクローラーが情報収集をしている、ということらしい。

-交差運転日記

執筆者:


comment

メールアドレスが公開されることはありません。

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

関連記事

no image

セルフレームのメガネ買った

鏡に仲本工事みたいな人が映るようになった。

no image

暇だったからジオンの系譜をやってみた

なんとなくでアクシズ編でスタート。 50ターンまでやった 50ターン目でミネバ・ザビがハマーンにシャアを探してこいというイベントが突然発生して、選択肢でYESを選択するとどこから見つけてきたのかシャア …

no image

猫が寝てるところを盗撮

img_0829

no image

玉の候補手

・自玉に王手がかかっていないか  ・王手をかけている駒を味方の駒により除く  ・持ち駒で王手を遮断する(桂馬以外、香、飛車、角による遠距離からの王手)  ・玉自身で王手をかけている駒を取る  ・王手の …

no image

Yahoo!オークションに落札相場を検索する機能が登場

Yahoo!オークションに落札相場を検索するための機能が新たに追加された模様。オークションの出品マスターというYahoo!オークションの独自のシステムにおける特典の一部として提供され、条件をクリアして …