WordPress에 Robots Txt 파일을 추가하는 방법(간단한 3단계)

WordPress 사이트에 robots.txt 파일을 추가하는 것은 몇 단계만 거치면 되는 간단한 프로세스입니다. robots.txt 파일은 검색 엔진 크롤러에게 웹사이트에서 색인을 생성해야 하는 페이지와 무시해야 하는 페이지를 알려주는 텍스트 파일입니다. 특정 페이지를 색인에서 제외함으로써 사이트의 검색 엔진 최적화(SEO)를 향상시킬 수 있습니다. robots.txt 파일을 WordPress에 추가하는 몇 가지 다른 방법이 있습니다. 가장 쉬운 방법은 자동으로 robots.txt 파일을 생성하는 Yoast SEO 또는 All in One SEO Pack과 같은 플러그인을 사용하는 것입니다. 또는 robots.txt 파일을 직접 만들고 FTP를 통해 WordPress 사이트에 업로드할 수 있습니다. 어떤 방법을 선택하든 robots.txt 파일을 라이브로 만들기 전에 테스트하여 의도한 대로 작동하는지 확인하십시오.

특정 키워드에 대해 검색 엔진에 존재하는 것은 웹사이트 소유자에게 필수적입니다. 웹사이트가 SERP에 나타나도록 하기 때문입니다. 웹마스터는 특수 파일인 robots.txt에 지침을 삽입하여 검색 엔진 로봇이 웹사이트 안팎에서 보내는 시간 을 설정할 수 있습니다. 이 튜토리얼에서는 검색 엔진이 사이트의 특정 부분에 액세스하지 못하도록 'robots.txt' 파일을 WordPress 웹사이트에 추가하는 방법을 보여줍니다. FileZilla를 사용하여 Cloudways 플랫폼에 연결합니다. /applications/ [FOLDER NAME]/public_html에 robots.txt라는 새 파일을 만들 수 있습니다. 텍스트 편집기에서 파일을 엽니다(메모장이 좋은 대안임). 와일드카드 설정을 사용하면 특정 유형의 파일을 다운로드할 수 있습니다.

별표(*가 처리할 수 있는 옵션/선택 항목에는 제한이 없습니다. 또한 특정 확장자가 선택되면 끌 수 있는 파일 수를 제한할 수 있습니다. Robots.txt는 SEO에 사용하기에 환상적인 파일입니다. 목적. WordPress 사이트의 SERP에 표시할 부분의 수는 귀하에게 달려 있습니다. 사이트에 사이트맵이 있는 경우 검색 엔진이 사이트를 찾는 데 도움이 되는 URL을 포함해야 합니다. 디렉토리는 색인을 생성할 필요가 없는 경우가 많습니다. 결과적으로 페이지는 훨씬 더 빠르게 색인을 생성할 수 있습니다.

결과적으로 검색 엔진이 특정 부분의 색인을 생성하지 않도록 하려면 웹사이트의 스크립트에 robots.txt를 포함해야 합니다. 사이트가 잘못 구성된 경우(예: delete /) Google에서 색인을 해제합니다. 당신도 조심해야 합니다. 작업을 완료할 수 있는 기회가 있습니다. 이 유형의 파일을 사용하는 경우 해당 파일에 대한 설정이 무엇인지 알려주세요.

txt는 사용하기에 가장 간단한 파일 형식 중 하나입니다. 로봇은 보고 싶은 페이지에 따라 "허용"(즉, 색인 생성) 및 "비허용"(즉, 거부)으로 프로그래밍됩니다. 후자는 스파이더가 크롤링하기를 원하지 않는 페이지를 나열하는 데 한 번만 사용됩니다.

txt라는 텍스트 파일은 웹 사이트에서 웹 크롤링 봇에 지침을 제공하는 데 사용할 수 있습니다. Google 및 기타 검색 엔진은 웹 로봇이라고도 하는 웹 크롤러 를 사용하여 웹사이트를 보관하고 분류합니다. 로봇 검색은 일반적으로 봇에서 사용됩니다.

Robots.txt는 인터넷의 파일에 추가할 수 있습니다. 웹사이트의 지시문을 보려면(사이트에 로봇이 있는 경우) 루트 도메인의 끝에 URL을 문자로 보내십시오.

로봇 Txt 파일 WordPress를 어디에 두나요?

FTP 클라이언트의 왼쪽 섹션으로 이동하여 FTP 로봇 목록을 만드십시오(우리는 Filezilla를 사용하고 있습니다). 이전에 생성한 txt 파일을 컴퓨터에 저장했습니다. 마우스 오른쪽 버튼을 클릭하고 업로드를 선택하여 업로드할 수 있습니다. 파일은 몇 분 안에 업로드되며 루트 WordPress 디렉토리에서 볼 수 있습니다.

robots.txt 파일은 루트 WordPress 디렉토리에 있으며 텍스트 파일입니다. 검색 엔진 봇이 웹사이트에서 크롤링해야 하는 페이지에 대한 아이디어를 제공하기 위해 크롤링해야 하는 페이지와 크롤링하지 않아야 하는 페이지 목록이 표시됩니다. 인덱싱보다 크롤링을 피하도록 파일에 지시할 수 있습니다. 나쁜 봇이 웹사이트를 손상시킨 경우 좋은 보안 플러그인이 필수적입니다. WordPress는 이를 사용하는 모든 웹사이트에 대해 가상 robots.txt 파일을 만듭니다. 변경하려는 경우 세 가지 옵션이 있습니다. 웹사이트 최적화를 위한 가장 인기 있는 도구 중 하나인 Yoast SEO 플러그인 은 탁월한 선택입니다.

또 다른 무료 SEO 플러그인인 All in One SEO는 다양한 추가 기능을 제공합니다. 이전에 FTP를 사용한 적이 있다면 robots.txt 파일을 서버에 업로드할 수 있다는 것을 알고 있습니다. robots.txt 파일에서 나중에 파일에 규칙과 지시문을 추가할 수 있는 Robots.txt라는 새 섹션이 표시됩니다. User-agent와 Disallow는 모두 이 파일에 포함된 지시문입니다. 단일 봇(예: Bingbot)을 지정하거나 모든 봇에 지침을 적용하려면 별표(User-agent: *)를 입력합니다. 과도한 크롤링 요청은 서버에 과부하를 일으켜 Crawl-delay 지시문이 사용됩니다. 이 지시문을 지원하는 크롤러가 없기 때문에 주의해서 사용하는 것이 가장 좋습니다.

Sitemap 지시문을 사용하면 검색 엔진이 XML 사이트맵 파일로 연결됩니다. 다음 섹션에서는 robots.txt 지시문 사용을 보여주는 두 가지 샘플 스니펫을 보여줍니다. 각 WordPress 사이트의 루트 디렉토리에는 robots.txt 파일이 있습니다. 여기에서 크롤러는 웹사이트에서 검색해야 하는 섹션에 대한 지침을 받게 됩니다. 그들은 땅을 기어다녀야 하거나 해서는 안 됩니다. 토론하는 동안 파일의 실제 버전을 만드는 방법과 파일을 편집하는 방법에 대해 설명했습니다.

WordPress 웹 사이트에 Robots.txt 파일을 추가해야 합니까?

WordPress가 설치되는 즉시 robots.txt 파일이 자동으로 생성됩니다. 검색 엔진 인덱서는 사이트의 어떤 페이지가 인덱싱되는지 확인하기 위해 이 디렉토리를 파일로 만듭니다. Robots.txt 파일은 대부분의 경우 WordPress 웹 사이트에 추가할 필요가 없습니다. 그러나 검색 엔진 순위를 높이기 위해 robots.txt 파일을 추가하여 검색 엔진 색인을 관리할 수 있습니다.

WordPress에서 로봇 Txt 파일을 어떻게 열 수 있습니까?

WordPress에서 robots.txt 파일을 여는 방법에는 몇 가지가 있습니다. 한 가지 방법은 WordPress 설치 폴더로 이동하여 텍스트 편집기에서 파일을 여는 것입니다. 또 다른 방법은 WP Robots Txt 와 같은 플러그인을 사용하여 WordPress 관리 영역 내에서 파일을 편집하는 것입니다.

거의 모든 웹사이트에서 robots.txt 파일을 찾을 수 있지만 대부분의 사람들은 이 파일이 무엇을 하는지 또는 어떻게 사용하는지 이해하지 못합니다. 이 가이드에서는 웹사이트 액세스를 관리하는 방법을 배우기 위해 파일과 해당 제한 사항을 살펴봅니다. 페이지에 해당 페이지를 가리키는 링크가 있더라도 robots.txt에 의해 차단되면 검색 엔진에서 색인을 생성할 수 있습니다. Google은 사이트의 표시된 영역에 액세스하지 않습니다. Google 웹마스터 분석가인 John Mueller에 따르면 Google에서 차단하지 않은 페이지에 noindex 태그를 추가할 수 있습니다. 인기 있는 Yoast SEO 플러그인을 사용하여 SEO 템플릿을 만들고 나중에 편집할 수 있습니다. Yoast의 인터페이스를 마우스 오른쪽 버튼으로 클릭하여 robots.txt 파일을 적절한 위치에 넣습니다.

마찬가지로, 올인원 SEO 플러그인에서 이러한 유형의 통합을 구현할 수 있습니다. WordPress robots.html 파일에 지정해야 하는 다양한 유형의 지시문에 대한 자세한 내용은 계속 읽으십시오. 규칙을 추가하기 전에 먼저 규칙을 적용할 사용자 에이전트를 선택한 다음 Disallow 및 Allow를 사용하여 적용할 규칙 수를 선택해야 합니다. 폴더 및 해당 하위 폴더에 대한 액세스는 허용하지 않지만 특정 하위의 특정 폴더에 대한 액세스는 허용하는 것이 폴더 및 해당 하위 폴더에 대한 액세스를 제한하려는 경우 좋은 아이디어가 될 수 있습니다. 허용을 사용하면 특정 폴더 내의 특정 파일에 대한 액세스 권한을 부여할 수 있지만 전체 폴더에 대한 액세스 권한은 허용하지 않습니다. WordPress는 쿼리를 처리할 때?s=라는 쿼리 매개변수를 사용합니다. 액세스 차단을 구성하려면 다음 규칙만 추가하면 됩니다.

Soft 404 오류는 이 기능을 사용하고 발생하는 경우 차단함으로써 피할 수도 있습니다. 미국 이외의 특정 지역을 타겟팅하더라도 Googlebot이 해당 국가에 진입하는 것을 차단할 필요는 없습니다. Google은 보이지 않는 문자가 있는 명령이 이해되지 않는 것에 짜증이 납니다. 이것이 robots.txt 파일의 첫 번째 행을 무효화하는 것은 유감입니다. Disallow 명령이라고 하는 robots.txt 파일에서 noindex 태그를 사용하는 것과는 다릅니다. 반면 Bots.txt는 색인을 생성하지 않지만 크롤링을 방지합니다. 특정 규칙을 추가하여 검색 엔진 및 기타 봇이 웹 사이트와 상호 작용하는 방식을 구성하는 데 사용할 수 있습니다. WordPress를 전혀 사용하지 않는 대부분의 사람들을 위해 기본 가상 robots.html 파일을 변경할 필요가 없습니다. 그러나 특정 봇 또는 플러그인에 문제가 있는 경우 고유한 규칙을 추가할 수 있습니다.

귀하의 사이트에 robots.txt 파일을 추가하는 방법

WordPress를 사용하는 경우 새 페이지 추가 마법사를 사용하여 이 파일을 사이트에 쉽게 추가할 수 있습니다. 그런 다음 파일 URL 필드에 robots.txt 파일의 URL을 입력합니다. 이 파일은 대시보드에서 페이지 관리 메뉴 항목을 클릭하여 WordPress 페이지에 추가할 수도 있습니다.
WordPress를 사용하지 않는 경우 다른 방식으로 robots.txt를 사이트에 추가해야 할 수 있습니다. 컴퓨터에 FTP 클라이언트가 설치되어 있으면 이 파일을 쉽게 추가할 수 있습니다. 컴퓨터에 파일 관리자가 설치되어 있으면 쉽게 추가할 수 있습니다.

로봇 Txt 파일 WordPress가 필요합니까?

문제의 특정 WordPress 사이트와 어떤 종류의 콘텐츠 또는 기능이 있는지에 따라 다르기 때문에 이 질문에 대한 확실한 답은 없습니다. 그러나 일반적으로 robots.txt 파일은 WordPress에 꼭 필요한 것은 아니지만 경우에 따라 유용할 수 있습니다. 예를 들어, WordPress 사이트에 민감한 정보나 기밀 정보가 많은 경우 robots.txt 파일을 사용하여 검색 엔진이 이 콘텐츠를 인덱싱하지 못하도록 할 수 있습니다.

robots.txt 파일은 웹사이트를 크롤링해서는 안 되는 위치와 시기를 검색 엔진에 알려주는 간단한 텍스트 파일입니다. 이 기능을 사용하여 검색 엔진이 사이트의 다른 파일 및 폴더에 액세스하는 것을 방지할 수 있습니다. 이 기사에서는 플러그인을 만드는 방법과 권장하는 플러그인을 제공하여 사용자가 직접 작업을 수행할 수 있도록 하는 방법을 보여줍니다. 모든 검색 엔진은 검색 결과에 웹 크롤링 사용자 에이전트를 포함합니다. 예를 들어 Googlebot은 Google 검색 엔진에 대한 웹사이트 콘텐츠의 색인을 생성합니다. 이러한 사용자 에이전트 각각에 대한 사용자 지정 지침을 구성할 수 있는 옵션이 있습니다. robots.txt 파일은 도메인 이름 뒤에 '/robots.txt'를 입력하여 액세스할 수 있습니다.

링크를 따라 슬래시를 사용한 후 로봇이 사이트의 어떤 페이지도 보지 않도록 지시할 수 있습니다. 예산 크롤링은 검색 엔진 봇 이 세션에서 크롤링할 수 있는 URL 수로 정의됩니다. 모든 웹사이트에는 특정 크롤링 예산이 있습니다. 웹사이트에 페이지가 많은 경우 봇이 가장 중요한 페이지를 먼저 크롤링하는지 확인해야 합니다. WordPress의 Yoast SEO 플러그인을 사용하면 대시보드에서 robots.txt 파일을 쉽게 만들 수 있습니다. 그런 다음 Filezilla와 같은 FTP 클라이언트를 사용하여 파일을 수동으로 업로드합니다. 웹 사이트에 파일을 표시하려면 루트 폴더에 있는지 확인하십시오.

파일을 만들려면 파일이 없는 경우 메모장과 같은 텍스트 편집기를 사용해야 합니다. robots.txt 파일은 항상 웹사이트의 루트에 있어야 합니다. 검색 엔진은 이 파일이 있는지 여부에 관계없이 사이트를 계속 크롤링하고 색인을 생성합니다. Google Search Console에서 robots.txt 파일을 테스트하는 것은 간단합니다. '지금 속성 추가'를 클릭하면 몇 분 만에 Google 검색에 웹사이트를 추가할 수 있습니다. 각 웹사이트에서 특정 크롤링 예산을 유지하는 것이 중요합니다. 세션 중에 봇이 방문해야 하는 페이지 수를 고려해야 합니다. 봇이 세션 중에 사이트의 모든 페이지 크롤링을 완료하지 않으면 사이트로 돌아가 다음 세션에서 크롤링을 재개합니다. 빠른 수정은 검색 봇 이 불필요한 페이지, 미디어 파일, 플러그인, 테마 폴더 등을 크롤링하지 못하도록 차단하여 크롤링 할당량을 절약하는 것입니다.

간단히 말해서 robots.txt 파일에 다음 행을 추가하십시오. Agents: users. 현재 Googlebot 서비스 를 사용 중입니다. robots.txt 파일이 없으면 Googlebot이 페이지를 크롤링하고 검색 엔진에서 자동으로 색인을 생성합니다.

SEO를 개선하기 위해 Robots.txt 파일을 추가해야 하는 이유

robots.txt 파일을 다운로드하여 웹사이트의 검색 엔진 순위를 높일 수 있습니다. 크롤러는 콘텐츠가 허용되는지 여부와 이유를 확인하기 위해 웹사이트 루트에서 이 파일을 찾습니다.

Robots.txt 워드프레스 편집

robots.txt 파일을 편집하려면 WordPress 대시보드로 이동한 다음 "설정" 탭을 클릭하면 됩니다. 거기에서 robots.txt 파일을 편집할 수 있는 "읽기" 섹션을 찾을 수 있습니다.

robots.txt 파일은 검색 엔진에 사이트가 허용된 위치를 알려주는 것 외에도 사이트를 크롤링하는 방법도 알려줍니다. 봇에게 사이트의 불필요한 페이지를 크롤링하지 않도록 지시하면 로드 속도를 높이고 검색 엔진에서 더 높은 순위를 얻을 수 있습니다. 이 게시물에서는 WordPress를 사용하여 robots.html 파일을 편집하는 방법을 보여줍니다. robots.txt 파일은 몇 가지 이유로 필요합니다. 웹사이트를 로드할 때 robots.txt 대신 meta noindex 태그를 사용하는 경우. 그것이 우리 삶에서 왜 그렇게 중요한지. 시스템을 사용하면 웹사이트와 상호 작용하는 검색 엔진 및 기타 봇을 지정할 수 있지만 검색 엔진이나 다른 봇이 콘텐츠를 인덱싱하는 것을 명시적으로 금지하지는 않습니다.

AIOSEO를 사용하여 WordPress에서 robots.html 파일을 단계별로 편집하는 방법을 살펴보겠습니다. 규칙 빌더를 사용하면 로봇이 방문하거나 방문하지 않을 수 있는 특정 페이지에 대한 고유한 규칙을 만들 수 있습니다. 맞춤 규칙을 만들 때 사용자 에이전트 필드에 사용자 에이전트(예: Googlebot 크롤러 )를 입력할 수 있습니다. 허용 또는 거부해야 하는 봇을 결정한 후 디렉토리 경로 필드에 디렉토리 경로 또는 파일 이름을 입력해야 합니다. 새 규칙을 저장하면 Robots.txt 미리보기 섹션에 표시됩니다. 로봇 열기를 클릭하면 robots.txt 파일을 볼 수 있습니다. 이 텍스트는 사용 가능한 즉시 모바일 장치로 전송됩니다. 규칙의 세부 정보를 입력하기만 하면 수정할 수 있습니다. 규칙 삭제의 몇 가지 예는 별도의 섹션에 표시됩니다.

WordPress의 기본 Robots.txt

WordPress 사이트를 만들고 사용자 지정 robots.txt 파일을 만들지 않으면 사이트는 다음을 포함하는 기본 robots.txt 파일을 자동으로 생성합니다. User-agent: * Disallow: / 첫 번째 줄, User-agent: * , 모든 웹 크롤러 에 적용됩니다. 두 번째 줄인 Disallow: /는 모든 웹 크롤러가 사이트의 페이지를 인덱싱하지 않도록 지시합니다. 이것은 가장 제한적인 설정이며 대부분의 WordPress 사이트에 권장되지 않습니다.

잘 구성된 robots.txt 파일을 사용하면 검색 엔진 봇을 웹사이트로 안내할 수 있습니다. 그들은 그것을 보는 동안 그 방에서 거리를 유지하라는 말을 들었습니다. 테크니컬 마법사가 아니더라도 코딩을 몰라도 이 파일을 생성하여 필요에 맞게 만들 수 있습니다. WordPress 웹 사이트를 만들 때 가상 robots.txt 파일이 생성됩니다. 봇은 이 파일을 기반으로 관리자 및 WP 포함 디렉터리에 액세스할 수 없습니다. 변경하려면 먼저 새 파일을 만든 다음 루트 폴더에 업로드해야 합니다. Robots.txt는 플러그인을 통하거나 수동으로 두 가지 방법으로 WordPress에서 편집할 수 있습니다.

이 예에서는 Bing의 검색 봇이 사이트를 크롤링하지 못하도록 하는 새로운 규칙 집합을 만들었습니다. 이 파일의 지시 사항은 대부분의 봇이 거의 확실히 따르지만 강제하려는 것은 아닙니다. WordPress용 Yoast SEO 플러그인을 설치하고 활성화하면 WordPress 대시보드에서 직접 robots.txt 파일을 편집할 수 있습니다. 올인원 SEO 팩은 WordPress SEO 와 관련하여 주의해야 할 또 다른 SEO 팩이며 사용도 매우 간단합니다. 요스트는 비슷한 제품이지만 무게는 훨씬 가볍습니다. 메모장이나 TextEdit에 몇 줄의 텍스트를 입력하여 robots.txt 파일을 만드는 것만큼 간단합니다. 파일을 테스트하려면 FTP를 통해 업로드한 다음 Google Search Console을 사용하세요.

올인원 SEO 팩에는 "나쁜" 봇을 차단하는 데 사용할 수 있는 도구가 포함되어 있습니다. 사이트의 가시성을 높이려면 검색 엔진 봇이 가장 관련성이 높은 정보를 크롤링하는 것이 중요합니다. WordPress robots.txt 파일을 사용하면 봇이 사이트와 상호 작용하는 방식을 간단하게 지정할 수 있습니다. 검색 엔진에 관련성 있고 유용한 콘텐츠를 제공하는 것이 더 쉬울 것입니다.

WordPress Robots.txt 파일을 업데이트하는 방법

웹사이트의 루트에 실제 파일이 없으면 WordPress는 가상 robots.txt 파일을 생성합니다. 가상 파일을 활성화하려면 먼저 다음 단계에 따라 이를 재정의해야 합니다. 브라우저를 열고 웹사이트의 루트 디렉터리로 이동합니다.
robots.txt 파일을 확인하십시오.
필요한 경우 파일을 변경하십시오.
파일을 저장했는지 확인하십시오.
웹사이트를 새로고침해야 합니다.
robots.txt 파일은 왼쪽 사이드바의 '플러그인' 메뉴로 이동하여 검색하여 업데이트할 수 있습니다. 메뉴에서 '설정'을 선택하여 robots.txt 파일을 변경합니다.