旅人の目
世界の国を全部訪問した旅人が書き綴る
Bot対策
最近サイトが時々重くなることがあって、借りているサーバーのリソース使用状況を見たところ、「CPU 使用時間」が異常に長くなっていた。これは一日当たりの使用時間で「数時間を超えるような場合、コメントスパム等の被害を受けていないか確認してください。」と説明書きがある。以前は２～３時間がMAXで推移していた記憶があったが、今回見た時は既にMAXが12時間を超えていた。そこから色々対策を始めた訳だが、五日置きに迎えるピークは徐々に大きくなり、終に24時間に達してしまった。と思ったら、24時間が終わりではなく、MAXは27時間越え。？？？一日当たり27時間って意味が分かりませんが、まずい状況にあることは間違いなし。
気がついてから色々負荷を減らす対策をやりましたが、大きな効果が表れないままひと月以上かかりました。しかし、とうとう効果が表れた！
主としてBot攻撃されていたのが泊まったお宿で、ここの表示に全ページへのリンクがあったのを次のページへのリンクだけに変えたことと検索をなくしたのが功を奏したようです。
攻撃してきているBotのユーザーエージェントでブロックすることも途中気付いて考えましたが、このいたちごっこは過去に何度もあり、先方がユーザーエージェントを替えれば、あるいは別から来れば終わりです。なので高負荷となっている場所を色々探して頑張りました。一応対策は出来たようなので、ここはすっきり、ユーザーエージェントのブロックも本日から開始。SemrushBotと360Spiderです。泊まったお宿へのBot攻撃はSemrushBotから。360Spiderは同時アクセスの多い中国のクローラーで503エラーの原因でした。