まとまりのないブログ

something which something is something

Tips

BaiduspiderとNHN Corpのクローラーを禁止

投稿日:

Baiduspiderという中国のクローラーと、ipアドレス61.247.222.*からはじまるYetiという韓国のクローラーの巡回を禁止するためにrobots.txtファイルを作成する。あまりにも負荷が酷いので。robots.txtというテキストファイルに下記内容を記述してサイトのルートへ保存した。効くといいんだが・・・。

User-agent: Yetibot
Disallow: /

iuser-agent: Baiduspider+
disallow: /

user-agent: BaiduImagespider
disallow: /

-Tips

執筆者:


comment

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

関連記事

no image

完全に異なるハードウェア構成のPCへOSを引越し

PC買い換え時に超便利、完全に異なるハードウェア間でもHDDを丸ごと復元できるイメージバックアップソフト「ShadowProtect」 HDDの内容を別のPCへ引っ越すことができるバックアップソフトが …

no image

サーバにトラブルが発生してウェブサービスが提供できない場合の正しい対処法

ウェブサービスを提供しているサイトでサーバに障害が発生して,一時的にサービスを提供することができない場合の管理者としての正しいと思われる対処方法。

no image

firefly ROC-RK3566-PC のメモリがECC使ってる模様

ROC-RK3566-PC fireflyというメーカー(ブランド?)のSBCの新しい製品でROC-RK3566-PCという型番の製品が新しく発売された様子。CPUはRockChip RK3566 C …

no image

amazonaws.comをアクセス拒否

apache2のログを見ていたらamazonaws.comからのクローラーがやたらと目につくようになった。robots.txtに見つけるたびにクローラー名を追記していってもあまりにも種類が多いのでいっ …

no image

asianetcom.netって

asianetcom.netというホスト名がついたアクセスが多数apacheのログに記録されていた。どうも百度関係のクローラーであるらしいが,なんか気味が悪いのでこれもアクセス制限をしてみる。apac …