All In One WP Security заблокировал робота Google, сбил органическое индексирование и контрольный список отладки роботов, который я использовал для восстановления рейтингов

Как и для многих владельцев веб-сайтов, защита моего сайта от вредоносного трафика была главным приоритетом. Я хотел защитить его от атак методом грубой силы, спамеров и плохих ботов. По этой причине я установил плагинAll In One WP Security & Firewallдля WordPress. Я доверял ему защиту моей собственности в Интернете. Однако, пытаясь защитить свой веб-сайт, я случайно спровоцировал катастрофический сбой в SEO, который я не сразу обнаружил. Робот Google был молча заблокирован, индексирование прекратилось, а мой органический трафик резко упал.

TLDR: Если ваш рейтинг и органический трафик внезапно исчезнут, и вы используете «All In One WP Security», немедленно проверьте, не заблокирован ли Googlebot. Плагины безопасности могут ошибочно идентифицировать хороших ботов как вредоносных и помешать Google сканировать ваш контент. Это случилось со мной, и для восстановления всего потребовался подробный контрольный список отладки, ориентированный на robots.txt, заголовки HTTP, доступ для сканирования, кеширование и информацию из консоли поиска. После исправления рейтинги начали возвращаться в течение двух недель.

Что пошло не так: блокировка Googlebot с помощью плагина безопасности WordPress

В течение нескольких дней мой органический трафик из здорового и растущего превратился в практически нулевой. Консоль поиска Google перестала обновлять многие статистические данные. Просканированные страницы загадочным образом падали. Мои посты вообще не появлялись в поиске — даже по брендовым запросам.

Сначала я подозревал обновление алгоритма Google. Но когда я запустил инструмент проверки URL-адресов в Search Console, меня поразило следующее:

«Страница не проиндексирована: заблокирована из-за запрещения доступа (403)»

Я быстро понял, что проблема техническая. URL-адреса не были помечены как noindex, но роботу Googlebot выдавались ошибки 403. Это означало, что мой сервер или, точнее, плагин активно отклонял сканирование. Время расследовать.

В поисках виновника: настройки брандмауэра All In One WP Security

После тестирования различных компонентов я обнаружил, что функция плагина All In One WP Security агрессивно фильтрует ботов, включая Googlebot . Это непреднамеренное ограничение, скорее всего, возникло из-за одной из следующих настроек:

• Настройки черного/белого списка . Можно было исключить целые диапазоны IP-адресов, используемые роботами-сканерами, такими как Googlebot.
• Обнаружение ошибки 404 и блокировка . Неоднократные попытки проверить мой сайт могли привести к блокировке ботов.
• Пользовательские правила .htaccess . Некоторые правила брандмауэра, непосредственно внедренные в .htaccess, могут блокировать известные пользовательские агенты.

Когда я полностью отключил плагин, робот Googlebot смог мгновенно снова получить доступ к сайту. Это дало мне необходимое краткосрочное решение, но я не хотел постоянно оставлять свой сайт незащищенным только ради восстановления индексации. Мне нужен был хирургический подход, поэтому я разработал диагностический контрольный список и следовал ему.

Контрольный список отладки роботов для восстановления после блокировки Googlebot

Вот точный набор шагов, которые я выполнил для проверки и восстановления после блокировки Googlebot на уровне всего сайта, включая то, как я исправил свое присутствие в поиске:

1. Подтвердите блокировку

• Используйте инструмент проверки URL-адресов Google Search Console , чтобы проверить как домашнюю страницу, так и отдельные сообщения в блоге.
• Проверьте наличие ошибок сканирования, таких как «Заблокировано robots.txt», «403 запрещено» или «Заблокировано из-за неавторизованного запроса».
• Используйте тестер robots.txt Google, чтобы убедиться в отсутствии ошибочных строк Disallow.

2. Проверьте правила .htaccess.

• Сделайте резервную копию текущего файла .htaccess.
• Найдите блоки с такими шаблонами, как Deny from или RewriteCond %{HTTP_USER_AGENT} в которых упоминается робот Googlebot.
• Ищите комментарии, созданные плагином, например # AIOWPS_RULE , чтобы определить изменения, внесенные плагином безопасности.

3. Проверьте все настройки плагина безопасности.

• Перейдите в All In One WP Security > Настройки брандмауэра и временно отключите следующее:
• Правила брандмауэра 6G
• Блокировка User-Agent
• Блокировка интернет-ботов
• Очистите кеш сайта и постепенно включите другие безопасные настройки после проверки доступа ботов.

4. Тестирование с использованием заголовков Curl и Live Headers

Из командной строки или инструментов разработчика Chrome:

завиток -A "Mozilla/5.0 (совместимый; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://example.com/

• Убедитесь, что ваш сайт возвращает 200 OK или 301 Redirect , а неошибку 403 или 500.
• Проверьте заголовки HTTP на наличие X-Robots-Tag — там не должно быть написано «noindex».

5. Подтвердите и снова отправьте URL-адреса.

• Вернувшись в порядок, перейдите в консоль поиска и запросите индексирование ключевых страниц и вашей домашней страницы.
• Проверьте, начнут ли обновляться отчеты о покрытии в течение 2–3 дней. Если это произойдет, вы снова в работе.

Сколько времени заняло восстановление?

После удаления правил брандмауэра, блокирующих ботов, и подтверждения свободного пути сканирования я увидел первые улучшения в течение 72 часов. Кэш Google обновился, проверка снова показала «Страница проиндексирована», и статистика сканирования в GSC возобновила прогресс.

Однако для стабилизации рейтингов потребовалось больше времени — около 10–14 дней . Некоторым конкурентоспособным ключевым словам потребовалось целых 3 недели, чтобы восстановить свои прежние позиции. Я использовал такие инструменты, как Ahrefs и SERanking, чтобы отслеживать медленный возврат.

Окончательная пересмотренная настройка: гармония безопасности и SEO

Чтобы избежать повторения этого инцидента, я внес следующие постоянные изменения:

• Чрезмерно агрессивные правила заменены хорошо проверенным брандмауэром, который включает проверенные разрешения для ботов, такие как Cloudflare.
• Внесите в белый список известных пользовательских агентов поисковых систем непосредственно в .htaccess, используя регулярное выражение.
• Включен плагин журнала аудита для отслеживания изменений настроек плагина и отчетов о состоянии HTTP для ботов.

Извлеченные уроки: когда безопасность оборачивается против SEO

Этот опыт стал тревожным звонком. Плагин безопасности, предназначенный для защиты моего сайта, почти свел на нет многомесячные усилия по SEO. Скрытый характер блокировки затруднял идентификацию — не было четких уведомлений о плагинах, а Google молча отворачивали.

Если вы пользователь WordPress, всегда проверяйте любые изменения брандмауэра или защиты от ботов, используя несколько ручных инструментов. Попробуйте использовать инструменты рендеринга Google, анализаторы HTTP-заголовков и Curl для каждого крупного обновления. И помните: чрезмерная защита с помощью фильтрации ботов может принести больше вреда, чем пользы, если она не будет четко нацелена и измерена.

К счастью, алгоритмы Google относительно снисходительны: как только доступ будет восстановлен, рейтинг может со временем вернуться. Но бдительность в отношениинастроек безопасностиидиагностики сканированиятеперь должна стать частью ежемесячного рабочего процесса каждого владельца сайта.