올인원 WP 보안으로 Googlebot이 차단되고 유기적 인덱싱이 중단되었으며 순위를 복구하는 데 사용한 로봇 디버깅 체크리스트

게시 됨: 2025-11-25

많은 웹사이트 소유자와 마찬가지로 내 사이트를 악성 트래픽으로부터 보호하는 것이 최우선 과제였습니다. 저는 무차별 대입 공격, 스패머, 악성 봇으로부터 데이터를 보호하고 싶었습니다. 그래서 저는 WordPress용All In One WP Security & Firewall플러그인을 설치했습니다. 나는 내 온라인 재산을 보호하기 위해 그것을 믿었습니다. 그러나 내 웹사이트를 보호하려고 시도하면서 실수로 치명적인 SEO 실패가 발생했습니다. 이는 즉시 감지하지 못했습니다. Googlebot이 자동으로 차단되고 색인 생성이 중지되었으며 유기적 트래픽이 급락했습니다.

TLDR: 순위와 유기적 트래픽이 갑자기 사라지고 '올인원 WP 보안'을 사용하는 경우 Googlebot이 차단되고 있는지 즉시 확인하세요. 보안 플러그인은 좋은 봇을 악성으로 잘못 식별하여 Google이 귀하의 콘텐츠를 크롤링하지 못하게 할 수 있습니다. 이런 일이 일어났고 모든 것을 복원하려면 robots.txt, HTTP 헤더, 크롤링 액세스, 캐싱, Search Console 통계에 초점을 맞춘 자세한 디버깅 체크리스트가 필요했습니다. 수정된 후 순위는 2주 이내에 반환되기 시작했습니다.

무엇이 잘못되었는지: WordPress 보안 플러그인으로 Googlebot 차단

며칠 동안 내 유기적 트래픽은 양호하고 증가하는 수준에서 거의 존재하지 않는 수준으로 바뀌었습니다. Google Search Console이 많은 통계 업데이트를 중단했습니다. 크롤링된 페이지가 이상하게 삭제되었습니다. 내 게시물이 전혀 검색되지 않았습니다. 심지어 브랜드 검색어에서도 마찬가지였습니다.

처음에는 구글 알고리즘 업데이트를 의심했습니다. 하지만 Search Console에서 URL 검사 도구를 실행했을 때 다음과 같은 문제가 발생했습니다.

"색인이 생성되지 않은 페이지: 액세스 금지(403)로 인해 차단되었습니다."

나는 문제가 기술적이라는 것을 금방 깨달았습니다. URL은 NOINDEX로 표시되지 않았지만 Googlebot에 403 오류가 표시되었습니다. 이는 내 서버, 더 구체적으로 말하면 플러그인이 크롤링을 적극적으로 거부하고 있음을 의미합니다. 조사할 시간입니다.

범인 추적: 올인원 WP Security의 방화벽 설정

다양한 구성 요소를 테스트한 후 올인원 WP 보안 플러그인 내부 기능이 Googlebot을 포함한 봇을 공격적으로 필터링하고 있음을 확인했습니다. 이러한 의도하지 않은 제한은 다음 설정 중 하나에서 발생했을 가능성이 높습니다.

블랙리스트/화이트리스트 설정 – Googlebot과 같은 봇 크롤러가 사용하는 전체 IP 범위를 배제할 수 있습니다.
404 감지 및 잠금 – 내 사이트를 조사하려는 반복적인 시도로 인해 봇이 잠길 수 있습니다.
사용자 정의 .htaccess 규칙 – .htaccess에 직접 삽입된 일부 방화벽 규칙은 알려진 사용자 에이전트를 차단할 수 있습니다.

플러그인을 완전히 비활성화하자 Googlebot은 즉시 사이트에 다시 액세스할 수 있었습니다. 이는 나에게 필요한 단기적인 솔루션을 제공했지만 인덱싱을 복원하기 위해 내 사이트를 영구적으로 보호되지 않은 상태로 유지하고 싶지 않았습니다. 수술적 접근이 필요했기 때문에 진단 체크리스트를 개발하고 따랐습니다.

Googlebot 블록에서 복구하기 위한 로봇 디버깅 체크리스트

검색 상태를 복구한 방법을 포함하여 사이트 전체의 Googlebot 블록을 감사하고 복구하기 위해 수행한 정확한 단계는 다음과 같습니다.

1. 차단 확인

Google Search Console의 URL 검사 도구를 사용하여 홈페이지와 개별 블로그 게시물을 모두 테스트하세요.
'robots.txt에 의해 차단됨', '403 금지됨' 또는 '무단 요청으로 인해 차단됨'과 같은 크롤링 오류가 있는지 확인하세요.
Google의 robots.txt 테스터를 사용하여 잘못된 Disallow 행이 없는지 확인하세요.

2. .htaccess 규칙을 확인하세요

현재 .htaccess 파일을 백업하세요.
Googlebot을 언급하는 Deny from 또는 RewriteCond %{HTTP_USER_AGENT} 와 같은 패턴이 있는 블록을 검색합니다.
보안 플러그인에 의한 변경 사항을 식별하려면 # AIOWPS_RULE 과 같은 플러그인 생성 주석을 찾으십시오.

3. 모든 보안 플러그인 설정 검토

올인원 WP 보안 > 방화벽 설정 으로 이동하여 다음을 일시적으로 비활성화합니다.

6G 방화벽 규칙
사용자 에이전트 차단
인터넷 봇 차단

봇 액세스를 테스트한 후 사이트의 캐시를 지우고 다른 안전한 설정을 점진적으로 다시 활성화하세요.

4. 컬(curl) 및 라이브 헤더(Live Header)를 사용한 테스트

명령줄 또는 Chrome 개발자 도구에서:

컬 -A "Mozilla/5.0(호환 가능; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://example.com/

사이트가 403 또는 500 오류 가 아닌200 OK 또는 301 리디렉션을 반환하는지 확인하세요.
X-Robots-Tag 의 HTTP 헤더를 확인하세요. "noindex"라고 표시되어서는 안 됩니다.

5. URL을 다시 확인하고 제출하세요.

순서대로 돌아가면 Search Console로 이동하여 주요 페이지와 홈페이지의 색인 생성을 요청하세요 .
적용 범위 보고서가 2~3일 이내에 업데이트되기 시작하는지 확인하세요. 업데이트되면 다시 비즈니스를 시작하는 것입니다.

복구에 얼마나 시간이 걸렸나요?

봇 차단 방화벽 규칙을 제거하고 명확한 크롤링 경로를 확인한 후 72시간 이내에 초기 개선이 이루어졌습니다. Google 캐시가 업데이트되고 검사 결과 '페이지 색인이 생성됨'이 다시 표시되었으며 GSC에서 크롤링 통계 진행이 재개되었습니다.

그러나 순위가 안정화되는 데는 더 오랜 시간이 걸렸습니다. 약 10~14일이 소요되었습니다. 일부 경쟁 키워드는 이전 위치로 회복하는 데 3주가 걸렸습니다. 저는 Ahrefs 및 SEranking과 같은 도구를 사용하여 느린 수익을 모니터링했습니다.

최종 수정된 설정: 보안과 SEO 조화

이 사건을 다시 방지하기 위해 다음과 같이 영구적으로 변경했습니다.

지나치게 공격적인 규칙을 Cloudflare와 같이 검증된 봇 허용을 포함하는 잘 검증된 방화벽으로 대체했습니다 .
정규식을 사용하여 .htaccess에서 직접 검색 엔진의 알려진 사용자 에이전트를 화이트리스트에 추가했습니다 .
플러그인 설정 변경 사항을 추적하고 봇에 대한 HTTP 상태 보고서를 추적하기 위해 감사 로그 플러그인을 활성화했습니다.

배운 교훈: 보안이 SEO에 반대되는 경우

이 경험은 모닝콜이었습니다. 내 사이트를 보호하기 위한 보안 플러그인으로 인해 몇 달 간의 SEO 노력이 거의 파괴되었습니다. 블록의 숨겨진 특성으로 인해 식별하기가 더 어려워졌습니다. 명확한 플러그인 알림이 없었고 Google은 조용히 외면당했습니다.

WordPress 사용자인 경우 항상 여러 수동 도구를 사용하여 방화벽이나 안티봇 변경 사항을 테스트하세요. 주요 업데이트마다 Google의 렌더링 도구, HTTP 헤더 분석기 및 컬을 사용해 보세요. 그리고 기억하세요: 봇 필터링으로 과잉 보호하는 것은 대상을 잘 지정하고 측정하지 않는 한 득보다 실이 더 클 수 있습니다.

다행히 Google의 알고리즘은 상대적으로 관대합니다. 일단 액세스가 복원되면 시간이 지나면 순위가 다시 돌아올 수 있습니다. 그러나보안 설정과크롤링 진단모두에 대해 항상 주의를 기울이는 것이 이제 모든 사이트 소유자의 월별 작업 흐름의 일부가 되어야 합니다.