Baiduspiderという中国のクローラーと、ipアドレス61.247.222.*からはじまるYetiという韓国のクローラーの巡回を禁止するためにrobots.txtファイルを作成する。あまりにも負荷が酷いので。robots.txtというテキストファイルに下記内容を記述してサイトのルートへ保存した。効くといいんだが・・・。
User-agent: Yetibot
Disallow: /iuser-agent: Baiduspider+
disallow: /user-agent: BaiduImagespider
disallow: /