apache2のログを見ていたらamazonaws.comからのクローラーがやたらと目につくようになった。robots.txtに見つけるたびにクローラー名を追記していってもあまりにも種類が多いのでいっそのことamazonaws.comをアクセス禁止にしてみた。
<Location /> Order allow,deny allow from all deny from amazonaws.com </Location>
ぐぐってみたら他の人もamazonaws.comからのクローラーやスパムに困っている人が多数いる様子。これ、みんながamazonaws.comに対してアクセス禁止していったらどうなるんだろうか。Amazon EC2自分が借りるかもしれないときにいろんなサイトからアク禁されまくってると思うとちょとためらうかも。