まとまりのないブログ

something which something is something

Tips

BaiduspiderとNHN Corpのクローラーを禁止

投稿日:

Baiduspiderという中国のクローラーと、ipアドレス61.247.222.*からはじまるYetiという韓国のクローラーの巡回を禁止するためにrobots.txtファイルを作成する。あまりにも負荷が酷いので。robots.txtというテキストファイルに下記内容を記述してサイトのルートへ保存した。効くといいんだが・・・。

User-agent: Yetibot
Disallow: /

iuser-agent: Baiduspider+
disallow: /

user-agent: BaiduImagespider
disallow: /

-Tips

執筆者:


comment

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

関連記事

no image

Intel 82945G Express Chipset Family の解像度

現在私が使っているパソコンのマザーボードは,オンボードグラフィックのチップセットがIntel 82945G Express Chipset Familyというものを使っているらしい。このマザーボードは …

no image

レッツノート CF-W7にWindows10をインストールしてみた

レッツノート CF-W7というノートPCを入手したのでSSDに換装して64bit Windows10 professional をインストールしてみた。 大体のスペックは ・CPU:Core 2 Du …

no image

Yahoo!オークションに落札相場を検索する機能が登場

Yahoo!オークションに落札相場を検索するための機能が新たに追加された模様。オークションの出品マスターというYahoo!オークションの独自のシステムにおける特典の一部として提供され、条件をクリアして …

no image

ChatGPTを使ってみたがまだデータ的なことは不安定

米1合のカロリーはという質問をしてみたが、ChatGPTの回答ではどうやっても250~300kcalぐらいですという回答が返ってくる。炊き方や品質でカロリーが変わると言ってもそれはないだろうという印象 …

no image

M.2 NVME SSDの速度は体感できる

普通のSATA接続のSSDからm.2規格のNVME SSDに換装した。Intel 760pという品で最高Read 3210 MB/s 出るらしい2020年現在でもまだハイエンドのSSDへと環境を移行し …