頻繁に来るクローラー

ちょっとメモ書き。

管理しているページにクローラーが大量に来ている場合の対処。

これだけラインナップされていれば結構な数を拒否できるはずです。

ちなみにウチではMJ12botとSemurushBotがすごい数でした・・・(笑)