如何在 WordPress 中編輯 Robots.txt 文件

本週，我們解決了初學者 WP 用戶的另一個問題——如何在 WordPress 中編輯 robots.txt 文件。 這背後的原因很簡單——它有利於您的 SEO 工作。 robots.txt 文件是 SEO 中一個非常強大的工具，因為它可以作為搜索引擎抓取機器人的網站指南。 這就是為什麼 WordPress 專家認識到它的重要性以及如何最好地將其實施到他們網站的優化中。 在這裡，我們逐步了解整個主題。

我們從 robots.txt 文件的更詳細定義開始

搜索引擎機器人需要有關如何抓取和索引站點內頁的說明。 這就是 robots.txt 文件發揮作用的地方。 該文件列出了頁面的結構，使搜索引擎機器人易於閱讀和評分。

您通常可以找到存儲在根目錄中的 robots.txt 文件。 該目錄也被稱為您整個網站的主文件夾。 在我們了解如何在 WordPress 中編輯 robots.txt 文件之前，我們首先需要學習如何識別它。 因此，以下是典型 robots.txt 文件外觀的示例：

該文件本身提供了足夠的自定義空間，例如允許/禁止特定 URL 或添加多個站點地圖文件。 因此，如果您有一個不希望搜索引擎機器人抓取和排名的 URL，您需要通過 robots.txt 禁止它。 以下是允許/禁止搜索引擎機器人抓取特定 URL 的示例：

最後，我們將站點地圖添加到組合中，使 URL 對搜索引擎機器人可見。

在 WordPress 中擁有 robots.txt 文件的重要性

需要了解的重要一點是，即使您沒有 robots.txt 文件，搜索引擎機器人仍會抓取您的網頁。 但是，它們會爬取所有這些。 您將無法訂購他們應該和不應該抓取哪些頁面。

對於新的 WP 網站，這可能不會出現太大或問題。 但是，對於那些內容無窮無盡的網站，您將希望更好地控制它的抓取和索引方式。 robots.txt 文件提供了一種正確的方式來維護您的 WordPress 網站以及搜索引擎機器人如何看待它。

首先，為什麼這如此重要？

每個網站都有一個抓取配額——這就是搜索引擎機器人的功能。 這意味著機器人將一次抓取您的網站一頁。 如果他們在一個會話期間未能完成對您所有頁面的抓取，他們將在下一次恢復抓取。 這會顯著降低您網站的索引速度（索引速度） 。

但是，當您在 WordPress 中編輯 robots.txt 文件以禁止某些頁面抓取時，您會保存抓取配額。 WP 用戶通常不允許的最常見和不必要的頁麵包括 WordPress 管理頁面、插件和主題。 刪除這些頁面後，您就可以為爬蟲提供更多空間來索引您網站上的其他相關頁面。

WordPress 中完美的 robots.txt 文件應該是什麼樣的？

流行的博客網站選擇了 robots.txt 文件的簡單示例——這種形式根據該網站的需要而有所不同：

此示例顯示如何允許機器人索引所有內容，並在此過程中為其提供指向網站 XML 站點地圖的鏈接。

但是，這是WordPress 網站用戶如何在 WordPress 中編輯 robots.txt 文件的推薦表格：

在這裡，您可以清楚地看到機器人被指示索引所有 WP 圖像和文件。 但是，它也不允許搜索引擎機器人索引以下內容：

• WP插件文件
• WP管理區
• WP 自述文件
• 附屬鏈接

您應該向 XML 站點地圖添加鏈接的原因是為了讓機器人更容易找到您網站上的所有頁面。

如何在 WordPress 中創建和編輯 robots.txt 文件

與所有 WordPress 一樣，每項任務都有多種解決方案。 因此，實際上有兩種方法可以在 WordPress 中創建 robots.txt：

解決方案 #1：使用 Yoast SEO 在 WordPress 中編輯 robots.txt 文件

如果您使用的是 Yoast SEO 插件，那麼您很幸運！ 該插件帶有 robots.txt 文件生成器。 您可以使用此生成器直接從您的管理員角色儀表板創建和編輯 robots.txt 文件。

您所要做的就是以管理員身份進入 SEO >> 工具頁面。 在那裡，單擊文件編輯器鏈接。 它引導您進入的頁面應該包含現有的 robots.txt 文件。 如果沒有，Yoast SEO 將為您生成一個文件。 某些版本的 Yoast SEO 會生成以下格式的默認文件：

一旦發生這種情況，您應該確保刪除此文本，否則它將阻止所有機器人抓取您的網站。 刪除默認文本後，請確保輸入您自己的 robots.txt 腳本版本。 您可以使用我們之前共享的模板。

完成文件編輯後，您只需單擊“保存 robots.txt 文件”並存儲您的更改。

解決方案 #2：使用 FTP 在 WordPress 中手動編輯 robots.txt 文件

這種特殊方法需要使用 FTP 客戶端來編輯文件。 因此，您要做的第一件事是使用 FTP 客戶端連接到您的 WordPress 託管帳戶。 在那裡，您將在網站的根文件夾中找到 robots.txt 文件。

如果您找不到 robots.txt 文件，那麼您的 WP 網站很可能沒有。 如果是這種情況，您可以繼續創建一個。 鑑於robots.txt 文件是純文本文件，您可以簡單地下載它，然後在任何純編輯器（如記事本或 TextEdit ）中對其進行編輯。 編輯文件後，您只需將其上傳回您網站的根文件夾即可。

在 WordPress 中編輯 robots.txt 文件後，請務必對其進行測試

測試始終是編輯之後的下一個合乎邏輯的步驟。 由於我們之前提到的原因，這在涉及 robots.txt 的情況下尤其重要。 不用擔心 - 您可以使用一些工具來測試它。 我們最推薦的是Google Search Console 。

如果您沒有帳戶，請創建一個帳戶，並在登錄後切換到舊的 Google 搜索控制台網站。 一旦您有了舊界面，您將需要啟動 robots.txt 測試器。 該工具位於“抓取”菜單下。 此工具會自動提取您網站的 robots.txt 文件並突出顯示它發現的任何錯誤。

最後的想法

總之，擁有 robots.txt 文件是推進您的 SEO 策略的一個非常重要的工具。 因此，學習如何在 WordPress 中創建和編輯 robots.txt 文件絕對是向前邁出的一步。 有關 WordPress 的任何其他問題或教程，請訪問我們的博客或直接與我們聯繫。