WordPress에서 Robots.txt 파일을 편집하는 방법

이번 주에는 초보자 WP 사용자가 가지고 있는 또 다른 쿼리인 WordPress에서 robots.txt 파일을 편집하는 방법을 다룹니다. 그 이유는 간단 합니다. SEO 노력에 도움이 됩니다. robots.txt 파일은 검색 엔진 크롤링 봇을 위한 웹사이트 가이드로 작동 하기 때문에 SEO에서 매우 강력한 도구입니다. 이것이 WordPress 전문가가 중요성과 사이트 최적화에 이를 구현하는 최선의 방법을 인식하는 이유입니다. 여기 에서 전체 주제에 대해 단계별로 살펴보겠습니다 .

robots.txt 파일에 대한 보다 자세한 정의부터 시작합니다.

검색 엔진 봇 은 사이트의 내부 페이지를 크롤링하고 색인을 생성하는 방법에 대한 지침이 필요합니다. 바로 여기에서 robots.txt 파일이 작동합니다. 이 파일은 페이지 구조를 표시하여 검색 엔진 봇이 쉽게 읽고 평가할 수 있도록 합니다.

일반적으로 루트 디렉토리에 저장된 robots.txt 파일을 찾을 수 있습니다. 이 디렉토리는 전체 웹사이트의 기본 폴더로도 알려져 있습니다 . WordPress에서 robots.txt 파일을 편집하는 방법을 알아보기 전에 먼저 인식하는 방법을 배워야 합니다. 다음은 일반적인 robots.txt 파일의 모양에 대한 예입니다.

파일 자체는 특정 URL을 허용/비허용하거나 여러 사이트맵 파일을 추가하는 등 맞춤설정을 위한 충분한 공간을 제공합니다. 따라서 검색 엔진 봇이 크롤링하고 순위를 매기는 것을 원하지 않는 URL이 있는 경우 robots.txt를 통해 이를 허용하지 않아야 합니다. 다음은 검색 엔진 봇이 특정 URL을 크롤링하는 것을 허용/비허용하는 예입니다.

마지막으로 사이트맵을 믹스에 추가하여 URL이 검색 엔진 봇에 표시되도록 합니다.

WordPress에서 robots.txt 파일을 갖는 것의 중요성

이해해야 할 중요한 점은 robots.txt 파일이 없더라도 검색 엔진 봇은 여전히 ​​페이지를 크롤링한다는 것 입니다. 그러나 그들은 모두 크롤링합니다. 크롤링해야 하는 페이지와 크롤링하지 말아야 하는 페이지를 주문할 수 없습니다.

새로운 WP 웹 사이트의 경우 너무 크거나 문제가 되지 않을 수 있습니다. 그러나 콘텐츠가 무한한 사이트의 경우 크롤링 및 색인 생성 방식을 더 잘 제어 해야 합니다. robots.txt 파일은 WordPress 웹사이트를 유지 관리하는 적절한 방법과 검색 엔진 봇이 이를 보는 방법을 제공합니다.

처음부터 이것이 왜 그렇게 중요합니까?

각 웹 사이트에는 검색 엔진 봇이 작동하는 방식인 크롤링 할당량 이 있습니다. 즉, 봇이 웹사이트를 한 번에 한 페이지씩 크롤링합니다. 한 세션 동안 모든 페이지 크롤링을 완료하지 못하면 다음 번에 크롤링이 재개됩니다. 그리고 이것은 사이트의 인덱싱( 인덱싱 속도 )을 상당히 느리게 할 수 있는 것입니다 .

그러나 WordPress에서 robots.txt 파일을 수정하여 특정 페이지의 크롤링을 허용하지 않으면 크롤링 할당량이 저장 됩니다. WP 사용자가 일반적으로 허용하지 않는 가장 일반적이고 불필요한 페이지에는 WordPress 관리 페이지, 플러그인 및 테마가 포함됩니다. 이러한 페이지를 제거하면 크롤러가 사이트의 다른 관련 페이지를 인덱싱할 수 있는 더 많은 공간을 확보할 수 있습니다.

WordPress의 완벽한 robots.txt 파일은 어떤 모습이어야 합니까?

인기 있는 블로그 사이트 는 robots.txt 파일의 간단한 예를 선택합니다. 이 파일은 해당 사이트의 요구 사항에 따라 달라지는 형식입니다.

이 예는 봇이 모든 콘텐츠를 색인화하도록 허용하여 프로세스에서 웹사이트의 XML 사이트맵에 대한 링크를 제공하는 방법을 보여줍니다.

그러나 이것은 WordPress 웹 사이트 사용자가 WordPress에서 robots.txt 파일을 편집하는 방법에 대해 권장하는 형식입니다 .

여기에서 봇이 모든 WP 이미지와 파일을 인덱싱 하도록 지시받았음을 분명히 알 수 있습니다. 그러나 검색 엔진 봇이 다음을 인덱싱하는 것도 허용하지 않습니다.

• WP 플러그인 파일
• WP 관리 영역
• WP 추가 정보 파일
• 제휴 링크

XML 사이트맵에 대한 링크를 추가해야 하는 이유는 봇이 사이트의 모든 페이지를 더 쉽게 찾을 수 있도록 하기 위해서입니다.

WordPress에서 robots.txt 파일을 만들고 편집하는 방법

모든 WordPress와 마찬가지로 각 작업에 대한 다양한 솔루션이 있습니다. 따라서 실제로 WordPress에서 robots.txt를 만드는 방법에는 두 가지가 있습니다.

솔루션 #1: Yoast SEO를 사용하여 WordPress에서 robots.txt 파일 편집

Yoast SEO 플러그인을 사용하고 있다면 운이 좋은 것입니다! 플러그인은 robots.txt 파일 생성기와 함께 제공됩니다 . 그리고 이 생성기를 사용하여 관리자 역할 대시보드에서 직접 robots.txt 파일을 만들고 편집할 수 있습니다.

SEO >> 도구 페이지에 관리자로 이동하기만 하면 됩니다. 거기에서 파일 편집기 링크를 클릭하십시오. 이 페이지로 이동하는 페이지에는 기존 robots.txt 파일이 포함되어야 합니다. 그렇지 않은 경우 Yoast SEO가 파일을 생성합니다. Yoast SEO의 일부 버전은 다음 형식으로 기본 파일을 생성합니다.

이런 일이 발생하면 이 텍스트를 삭제 해야 합니다. 그렇지 않으면 모든 봇이 웹사이트를 크롤링하는 것을 차단할 수 있기 때문입니다. 기본 텍스트를 제거한 후에는 자신의 robots.txt 스크립트 버전을 입력해야 합니다. 이전에 공유한 템플릿을 사용할 수 있습니다.

파일 편집이 완료되면 ' robots.txt 파일 저장 '을 클릭하고 변경 사항을 저장하기만 하면 됩니다.

솔루션 #2: FTP를 사용하여 WordPress에서 robots.txt 파일 수동 편집

이 특정 접근 방식에서는 FTP 클라이언트를 사용하여 파일을 편집해야 합니다. 따라서 가장 먼저 할 일은 FTP 클라이언트를 사용하여 WordPress 호스팅 계정에 연결하는 것 입니다. 거기에 가면 웹사이트의 루트 폴더에서 robots.txt 파일을 찾을 수 있습니다.

robots.txt 파일을 찾을 수 없다면 WP 사이트에 파일이 없을 가능성이 큽니다. 이 경우 계속 진행하여 하나를 만들 수 있습니다. robots.txt 파일이 일반 텍스트 파일 이라는 사실을 감안할 때 간단히 다운로드한 다음 메모장이나 TextEdit 와 같은 일반 편집기에서 편집할 수 있습니다. 파일을 편집하면 웹사이트의 루트 폴더에 다시 업로드할 수 있습니다.

WordPress에서 robots.txt 파일을 편집한 후에는 반드시 테스트하십시오.

테스트는 항상 편집을 따르는 논리적인 다음 단계입니다. 이는 앞서 언급한 이유로 robots.txt와 관련된 경우에 특히 중요합니다. 걱정하지 마세요. 이를 테스트하는 데 사용할 수 있는 도구가 있습니다. 우리가 가장 추천하는 것은 Google Search Console 입니다.

계정이 없으면 계정을 만들고 로그인한 후 이전 Google 검색 콘솔 웹사이트로 전환합니다 . 이전 인터페이스가 표시 되면 robots.txt 테스터를 시작 해야 합니다. 이 도구는 ' 크롤링 ' 메뉴 아래에 있습니다. 이 도구는 웹사이트의 robots.txt 파일을 자동으로 불러와 발견한 오류를 강조표시합니다.

마지막 생각들

결론적으로 robots.txt 파일을 갖는 것은 SEO 전략을 추진하는 데 있어 매우 중요한 도구입니다. 따라서 WordPress에서 robots.txt 파일을 만들고 편집하는 방법을 배우는 것은 확실히 한 단계 발전된 것 입니다. WordPress에 관한 추가 질문이나 자습서가 있으면 블로그를 방문하거나 직접 문의하십시오.