All In One WP Security が Googlebot をブロックし、オーガニック インデックスとランキングを回復するために使用したロボット デバッグ チェックリストがクラッシュしました
公開: 2025-11-25多くの Web サイト所有者と同様に、私のサイトを悪意のあるトラフィックから保護することが最優先事項でした。ブルートフォース攻撃、スパム送信者、悪質なボットからセキュリティを保護したいと考えていました。そのため、WordPress 用のAll In One WP Security & Firewallプラグインをインストールしました。私のオンライン資産を保護してくれると信じていました。しかし、Web サイトを保護しようとして、誤って致命的な SEO 障害を引き起こしてしまいました。すぐには検出できませんでした。 Googlebot は静かにブロックされ、インデックス作成は停止し、オーガニック トラフィックは激減しました。
TLDR:ランキングとオーガニック トラフィックが突然消え、「All In One WP Security」を使用している場合は、すぐに Googlebot がブロックされているかどうかを確認してください。セキュリティ プラグインは、善良なボットを悪意のあるボットとして誤認し、Google によるコンテンツのクロールを妨げる可能性があります。これは私にも起こりました。すべてを復元するには、robots.txt、HTTP ヘッダー、クロール アクセス、キャッシュ、Search Console の分析情報に重点を置いた詳細なデバッグ チェックリストが必要でした。修正後は 2 週間以内にランキングが戻り始めました。
問題点: WordPress セキュリティ プラグインによる Googlebot のブロック
数日の間に、私のオーガニックトラフィックは健全に増加していた状態から、ほとんど存在しない状態になりました。 Google Search Consoleは多くの統計情報の更新を停止しました。クロールしたページが不思議なことに落ちました。私の投稿は検索にまったく表示されませんでした。ブランドのクエリにも表示されませんでした。
最初はGoogleのアルゴリズムアップデートを疑った。しかし、Search Console で URL 検査ツールを実行すると、次のような問題が発生しました。
「ページのインデックスが作成されていません: アクセス禁止のためブロックされました (403)」
この問題は技術的なものであることがすぐにわかりました。 URL は noindex としてマークされていませんでしたが、Googlebot に 403 エラーが返されていました。これは、サーバー、より具体的にはプラグインがクロールを積極的に拒否していたことを意味します。調査する時間です。
犯人の追跡: All In One WP Security のファイアウォール設定
さまざまなコンポーネントをテストした結果、All In One WP Security プラグイン内の機能がGooglebotなどのボットを積極的にフィルタリングしていることがわかりました。この意図しない制限は、次の設定のいずれかに起因している可能性があります。
- ブラックリスト/ホワイトリスト設定– Googlebot などのボット クローラーによって使用される IP 範囲全体を除外できた可能性があります。
- 404 の検出とロックアウト– サイトの調査を繰り返し試行すると、ボットがロックアウトされる可能性があります。
- カスタム .htaccess ルール– .htaccess に直接挿入された一部のファイアウォール ルールは、既知のユーザー エージェントをブロックする可能性があります。
プラグインを完全に無効にすると、Googlebot は即座に再びサイトにアクセスできるようになりました。これにより、必要な短期的な解決策が得られましたが、インデックス作成を復元するためだけにサイトを永久に保護しない状態にしておくのは望ましくありませんでした。外科的アプローチが必要だったので、診断チェックリストを作成し、それに従いました。
Googlebot ブロックから回復するためのロボット デバッグ チェックリスト
以下は、Googlebot のサイト全体のブロックを監査して回復するために私が実行した一連の正確な手順です。これには、検索でのプレゼンスを修復した方法も含まれます。
1.ブロックを確認する
- Google Search Console の URL 検査ツールを使用して、ホームページと個々のブログ投稿の両方をテストします。
- 「robots.txt によってブロックされました」、「403 Forbidden」、または「不正なリクエストによりブロックされました」などのクロール エラーがないか確認します。
- Google の robots.txt テスターを使用して、誤った Disallow 行がないことを確認します。
2. .htaccess ルールを確認する
- 現在の .htaccess ファイルをバックアップします。
- Googlebot に言及する
Deny fromやRewriteCond %{HTTP_USER_AGENT}などのパターンを持つブロックを検索します。 -
# AIOWPS_RULEなどのプラグインによって生成されたコメントを探して、セキュリティ プラグインによって行われた変更を特定します。
3. すべてのセキュリティ プラグイン設定を確認する
- [All In One WP Security] > [ファイアウォール設定]に移動し、以下を一時的に無効にします。
- 6G ファイアウォール ルール
- ユーザーエージェントのブロック
- インターネットボットのブロック
- ボット アクセスをテストした後、サイトのキャッシュをクリアし、他の安全な設定を段階的に再度有効にします。
4.curl と Live ヘッダーを使用したテスト
コマンドラインまたは Chrome デベロッパー ツールから:
カール -A "Mozilla/5.0 (互換性; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://example.com/
- サイトが 403 または 500 エラーではなく、 200 OKまたは301 リダイレクトを返すようにしてください。
- HTTP ヘッダーで
X-Robots-Tagを確認してください。「noindex」と表示されていないはずです。
5. URL を再度検証して送信する
- 順序が戻ったら、Search Console に移動し、主要なページとホームページのインデックス作成をリクエストします。
- カバレッジ レポートが 2 ～ 3 日以内に更新されるかどうかを確認します。更新される場合は、業務に戻ります。
回復にはどれくらい時間がかかりましたか?
ボットをブロックするファイアウォール ルールを削除し、明確なクロール パスを確認した後、72 時間以内に最初の改善が見られました。 Google のキャッシュが更新され、検査では再び「ページがインデックスに登録されました」と表示され、GSC でのクロール統計の進行が再開されました。
ただし、ランキングが安定するまでにはさらに時間がかかり、約10 ～ 14 日かかりました。一部の競合キーワードは、以前の順位に回復するまでに丸 3 週間かかりました。 Ahrefs や SERanking などのツールを使用して、戻りの遅さを監視しました。
最終改訂されたセットアップ: セキュリティと SEO の調和
この問題が再び発生するのを避けるために、次の永続的な変更を加えました。
- 過度に攻撃的なルールを、Cloudflare などの検証済みのボット許可を含む、十分に精査されたファイアウォールに置き換えました。
- 正規表現を使用して、検索エンジンからの既知のユーザー エージェントを .htaccess で直接ホワイトリストに登録しました。
- 監査ログ プラグインを有効にして、プラグイン設定の変更とボットへの HTTP ステータス レポートを追跡します。
学んだ教訓: セキュリティが SEO に反する場合
この経験は警鐘を鳴らしました。私のサイトを守ることを目的としたセキュリティ プラグインにより、数か月にわたる SEO の取り組みがほぼ台無しになりました。ブロックの隠された性質により特定が困難になりました。明確なプラグイン通知はなく、Google は黙って拒否されていました。
WordPress ユーザーの場合は、複数の手動ツールを使用して、ファイアウォールやボット対策の変更を常にテストしてください。メジャー アップデートごとに、Google のレンダリング ツール、HTTP ヘッダー アナライザー、curl を使用してみてください。また、ボット フィルタリングで過保護になると、ターゲットを絞って測定しない限り、害を及ぼす可能性があることを覚えておいてください。
ありがたいことに、Google のアルゴリズムは比較的寛容です。アクセスが回復すると、時間の経過とともにランキングが戻る可能性があります。しかし、セキュリティ設定とクロール診断の両方に常に注意を払うことは、すべてのサイト所有者の毎月のワークフローの一部となる必要があります。