多合一 WP Security 阻止了 Googlebot 並破壞了有機索引以及我用來恢復排名的機器人調試清單

已發表: 2025-11-25

與許多網站所有者一樣，保護我的網站免受惡意流量的侵害是首要任務。我想確保它免受暴力攻擊、垃圾郵件發送者和惡意機器人的侵害。因此，我為 WordPress 安裝了All In One WP Security & Firewall插件。我相信它可以保護我的在線財產。然而，在嘗試保護我的網站時，我不小心觸發了災難性的 SEO 故障 - 我沒有立即檢測到這一故障。 Googlebot 被無聲地屏蔽，索引停止了，我的自然流量直線下降。

TLDR：如果您的排名和自然流量突然消失並且您正在使用“All In One WP Security”，請立即檢查 Googlebot 是否被阻止。安全插件可能會將良好的機器人誤認為是惡意機器人，並阻止 Google 抓取您的內容。這發生在我身上，我需要一個詳細的調試清單，重點關注 robots.txt、HTTP 標頭、抓取訪問、緩存和 Search Console 見解來恢復所有內容。一旦修正，排名將在兩週內開始恢復。

出了什麼問題：使用 WordPress 安全插件阻止 Googlebot

在幾天的時間裡，我的自然流量從健康增長到幾乎不存在。 Google Search Console 停止更新許多統計數據。爬行的頁面神秘地掉落。我的帖子根本沒有出現在搜索中——甚至沒有出現在品牌查詢中。

一開始我懷疑是谷歌算法更新了。但是當我在 Search Console 中運行 URL 檢查工具時，我遇到了以下問題：

“頁面未編入索引：由於訪問被禁止而被阻止 (403)”

我很快意識到這個問題是技術性的。網址未標記為 noindex，但向 Googlebot 提供 403 錯誤。這意味著我的服務器，或者更具體地說是一個插件，正在主動拒絕爬網。是時候調查一下了。

追踪罪魁禍首：All In One WP Security 的防火牆設置

在測試了不同的組件後，我發現 All In One WP Security 插件中的一項功能正在積極過濾機器人，包括Googlebot 。這種意外的限制很可能來自以下設置之一：

黑名單/白名單設置– 可以排除 Googlebot 等機器人爬蟲使用的整個 IP 範圍。
404 檢測和鎖定– 反复嘗試探測我的網站可能會導致機器人鎖定。
自定義 .htaccess 規則– 一些直接注入 .htaccess 的防火牆規則可能會阻止已知的用戶代理。

當我完全禁用該插件後，Googlebot 能夠立即再次訪問該網站。這為我提供了所需的短期解決方案，但我不想僅僅為了恢復索引而使我的網站永久不受保護。我需要一種手術方法——所以我制定並遵循了一份診斷清單。

從 Googlebot 阻止中恢復的機器人調試清單

以下是我在審核並從 Googlebot 的站點範圍阻止中恢復時所遵循的一組確切步驟，包括我如何修復我的搜索存在：

1. 確認區塊

使用Google Search Console 的 URL 檢查工具來測試主頁和單個博客文章。
檢查是否有“被 robots.txt 阻止”、“403 禁止”或“由於未經授權的請求而被阻止”等抓取錯誤。
使用 Google 的 robots.txt 測試器確認沒有錯誤的禁止行。

2.檢查.htaccess規則

備份當前的 .htaccess 文件。
搜索具有Deny from或RewriteCond %{HTTP_USER_AGENT}等提及 Googlebot 的模式的塊。
查找插件生成的註釋，例如# AIOWPS_RULE來識別安全插件所做的更改。

3.檢查所有安全插件設置

轉至All In One WP Security > 防火牆設置並暫時禁用以下各項：

6G防火牆規則
用戶代理阻止
互聯網機器人攔截

在測試機器人訪問後，清除站點的緩存並逐步重新啟用其他安全設置。

4. 使用curl和Live headers進行測試

從命令行或 Chrome 開發者工具：

curl -A“Mozilla/5.0（兼容；Googlebot/2.1；+http://www.google.com/bot.html）”-I https://example.com/

確保您的網站返回200 OK或301 重定向，而不是403 或 500 錯誤。
檢查X-Robots-Tag的 HTTP 標頭 — 它不應該顯示“noindex”。

5. 再次驗證並提交 URL

恢復順序後，請轉到 Search Console 並請求關鍵頁面和主頁的索引。
檢查覆蓋率報告是否在 2-3 天內開始更新- 如果開始更新，您就可以恢復業務了。

恢復需要多長時間？

刪除機器人阻止防火牆規則並確認清晰的爬行路徑後，我在 72 小時內看到了初步改進。 Google 的緩存已更新，檢查再次顯示“頁面已編入索引”，並且 GSC 中的抓取統計數據恢復了進度。

然而，排名需要更長的時間——大約10 到 14 天才能穩定下來。一些競爭性關鍵詞花了整整3週的時間才恢復到原來的位置。我使用 Ahrefs 和 SERanking 等工具來監控緩慢的回報。

最終修改後的設置：安全性和 SEO 和諧

為了避免再次發生此類事件，我做出了以下永久性更改：

用經過嚴格審查的防火牆取代了過於激進的規則，其中包括經過驗證的機器人限額，例如 Cloudflare。
使用正則表達式直接在 .htaccess 中將搜索引擎中的已知用戶代理列入白名單。
啟用審核日誌插件來跟踪插件設置更改並向機器人發送 HTTP 狀態報告。

經驗教訓：當安全性轉向 SEO 時

這次經歷給我們敲響了警鐘。一個旨在保護我的網站的安全插件幾乎毀掉了我幾個月的 SEO 工作。該區塊的隱藏性質使其更難識別——沒有明確的插件通知，谷歌就被悄悄地拒之門外。

如果您是 WordPress 用戶，請務必使用多個手動工具測試任何防火牆或反機器人更改。嘗試使用 Google 的渲染工具、HTTP 標頭分析器和curl 來進行每次重大更新。請記住：對機器人過濾的過度保護可能弊大於利，除非它有明確的針對性和衡量標準。

值得慶幸的是，谷歌的算法相對寬容——一旦恢復訪問，排名可能會隨著時間的推移而恢復。但對安全設置和爬網診斷保持警惕現在必須成為每個網站所有者每月工作流程的一部分。