まとまりのないブログ

something which something is something

Tips

BaiduspiderとNHN Corpのクローラーを禁止

投稿日:

Baiduspiderという中国のクローラーと、ipアドレス61.247.222.*からはじまるYetiという韓国のクローラーの巡回を禁止するためにrobots.txtファイルを作成する。あまりにも負荷が酷いので。robots.txtというテキストファイルに下記内容を記述してサイトのルートへ保存した。効くといいんだが・・・。

User-agent: Yetibot
Disallow: /

iuser-agent: Baiduspider+
disallow: /

user-agent: BaiduImagespider
disallow: /

-Tips

執筆者:


comment

メールアドレスが公開されることはありません。

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

関連記事

no image

テキスト入力フィールドの入力有無チェック

テキストフィールド内に文字列が入力されているかいないかをチェック。 サンプルコード <script type=”text/javascript”> function check_isnul …

no image

Redisのクラスター機能を使ってみた

Redisとは インメモリで動作するKey-Value型のデータストレージソフトウェア Redisのクラスター機能 redisを機動しているサーバ複数でクラスターを組むことができ、負荷分散、耐障害に強 …

no image

System.Data.OleDb.OleDbException: ファイル ’ファイルパス ’ が見つかりませんでした。

データベースファイルを相対指定にしていて、openfiledialogでローカルのファイルを選択後に、データベースのファイルの指定が絶対指定に変わってしまった。その結果、当然ながらデータベース接続エラ …

no image

Yahoo!オークションに落札相場を検索する機能が登場

Yahoo!オークションに落札相場を検索するための機能が新たに追加された模様。オークションの出品マスターというYahoo!オークションの独自のシステムにおける特典の一部として提供され、条件をクリアして …

no image

org.xml.sax.SAXParseException; lineNumber: 1; columnNumber: 1; 途中でファイルの末尾に達しました。

org.xml.sax.SAXParseException; lineNumber: 1; columnNumber: 1; 途中でファイルの末尾に達しました。 javax.naming.Naming …