2007-10-20 クローラ対策はどうするべき? どう書くorgになんかすごい量のアクセスが(わずかな時間だけ)来ていて、ロードアベレージがわずかな時間だけ20超えてたり、データベースがロックされている旨のエラーメールが来たり、SSH越しの作業がなんかレスポンス悪くなったりしたんだけども。本格的にクロールされる前に何か対策を取るべき何だろうか。1分間に60回以上のリクエストを投げるIPアドレスはほげほげするとか。