まとまりのないブログ

something which something is something

Tips

BaiduspiderとNHN Corpのクローラーを禁止

投稿日:

Baiduspiderという中国のクローラーと、ipアドレス61.247.222.*からはじまるYetiという韓国のクローラーの巡回を禁止するためにrobots.txtファイルを作成する。あまりにも負荷が酷いので。robots.txtというテキストファイルに下記内容を記述してサイトのルートへ保存した。効くといいんだが・・・。

User-agent: Yetibot
Disallow: /

iuser-agent: Baiduspider+
disallow: /

user-agent: BaiduImagespider
disallow: /

-Tips

執筆者:


comment

メールアドレスが公開されることはありません。

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

関連記事

no image

asianetcom.netって

asianetcom.netというホスト名がついたアクセスが多数apacheのログに記録されていた。どうも百度関係のクローラーであるらしいが,なんか気味が悪いのでこれもアクセス制限をしてみる。apac …

no image

UITableviewのCellに設定したUITextFieldが画面外にスクロールすると内容が消える件

UITableViewCellにコードでUITextFieldをaddSubviewしたとき、例えばテキストフィールドが複数行あってスクロールしたときに画面外に消えて、再表示したら入力したはずの値が消 …

no image

System.Data.OleDb.OleDbException: ファイル ’ファイルパス ’ が見つかりませんでした。

データベースファイルを相対指定にしていて、openfiledialogでローカルのファイルを選択後に、データベースのファイルの指定が絶対指定に変わってしまった。その結果、当然ながらデータベース接続エラ …

no image

org.xml.sax.SAXParseException; lineNumber: 1; columnNumber: 1; 途中でファイルの末尾に達しました。

org.xml.sax.SAXParseException; lineNumber: 1; columnNumber: 1; 途中でファイルの末尾に達しました。 javax.naming.Naming …

no image

sqlインジェクション

ns.km22518.keymachine.de – – [19/Jul/2008:22:25:12 +0900] “GET /wordpress/index.php?cat=%27+UNION+SE …