如何將機器人 Txt 文件添加到 WordPress（只需 3 個簡單步驟）

將 robots.txt 文件添加到您的 WordPress 網站是一個簡單的過程，只需幾個步驟即可完成。 robots.txt 文件是一個文本文件，它告訴搜索引擎爬蟲應該索引您網站上的哪些頁面以及應該忽略哪些頁面。 通過將某些頁面排除在索引之外，您可以改進網站的搜索引擎優化 (SEO)。 有幾種不同的方法可以將 robots.txt 文件添加到 WordPress。 最簡單的方法是使用 Yoast SEO 或 All in One SEO Pack 之類的插件，它會自動為您生成 robots.txt 文件。 或者，您可以自己創建一個 robots.txt 文件並通過 FTP 將其上傳到您的 WordPress 站點。 無論您選擇哪種方法，請務必在啟用之前測試您的 robots.txt 文件，以確保它按預期工作。

在搜索引擎中獲得特定關鍵字的存在對於網站所有者來說至關重要，因為它可以確保他們的網站出現在 SERP 中。 網站管理員可以通過將指令插入到特殊文件 robots.txt 中來設置搜索引擎機器人在網站內外花費的時間。 在本教程中，我將向您展示如何將“robots.txt”文件添加到您的 WordPress 網站，以防止搜索引擎訪問您網站的特定部分。 使用 FileZilla 連接到 Cloudways 平台。 您可以在 /applications/ [FOLDER NAME]/public_html 中創建一個名為 robots.txt 的新文件。 在文本編輯器中打開文件（記事本是一個不錯的選擇）。 通配符設置允許下載某些類型的文件。

星號 (* 可以處理的選項/選擇沒有限制。此外，如果選擇了特定的擴展名，您可以限制可以關閉的文件數量。Robots.txt 是用於 SEO 的絕佳文件目的。這取決於您希望在 SERP 中顯示 WordPress 站點的多少部分。如果您的站點有站點地圖，則應包含一個 URL 以幫助搜索引擎定位它。這些目錄通常不需要被索引通過搜索引擎。因此，頁面可以更快地建立索引。

因此，您必須在網站的腳本中包含 robots.txt，以使搜索引擎避免索引某些部分。 如果您的站點配置不正確（例如刪除 /），它將被 Google 取消索引。 你也應該小心。 你有機會完成任務。 請告訴我您是否使用這種類型的文件以及它的設置。

txt 是最簡單的文件格式之一。 機器人被編程為“允許”（即，將它們編入索引）和“禁止”（即，拒絕它們）基於它們想要查看的頁面。 後者僅用於列出您不希望蜘蛛抓取的頁面。

網站可以使用名為 txt 的文本文件向網絡爬蟲程序提供指令。 Google 和其他搜索引擎使用網絡爬蟲（也稱為網絡機器人）對網站進行存檔和分類。 機器人搜索通常用於機器人中。

Robots.txt 可以添加到 Internet 上的文件中。 要查看網站的指令（如果網站有機器人），請將 URL 發送到任何根域的末尾。

我在哪裡放置機器人 Txt 文件 WordPress？

通過轉到 FTP 客戶端的左側部分（我們使用 Filezilla）創建FTP 機器人列表。 您保存了之前在計算機上創建的 txt 文件。 您可以通過右鍵單擊它並選擇上傳來上傳它。 該文件將在瞬間上傳，您將能夠在您的 WordPress 根目錄中看到它。

robots.txt 文件位於您的 WordPress 根目錄中，是一個文本文件。 為了讓搜索引擎機器人了解他們應該抓取您網站上的哪些頁面，它會顯示應該和不應該抓取哪些頁面的列表。 可以指示文件避免爬網，而不是索引。 如果惡意機器人破壞了您的網站，一個好的安全插件是必不可少的。 WordPress 為每個使用它的網站創建一個虛擬 robots.txt 文件。 如果你想改變一些東西，你有三個選擇。 Yoast SEO 插件是最流行的網站優化工具之一，是一個很好的選擇。

All in One SEO，另一個免費的 SEO 插件，提供了多種附加功能。 如果您以前使用過 FTP，您就知道可以將 robots.txt 文件上傳到您的服務器。 您將在 robots.txt 文件中看到一個名為 Robots.txt 的新部分，之後您可以在其中向文件添加規則和指令。 User-agent 和 Disallow 都是包含在此文件中的指令。 如果您想指定單個機器人（例如 Bingbot），或者如果您希望指令適用於所有機器人，請輸入星號（用戶代理：*）。 過多的爬取請求會使服務器過載，導致使用 Crawl-delay 指令。 因為沒有爬蟲支持這個指令，所以最好謹慎使用。

如果您使用 Sitemap 指令，搜索引擎將被定向到您的 XML 站點地圖文件。 在以下部分中，我們將向您展示兩個示例片段，演示 robots.txt 指令的使用。 每個 WordPress 站點的根目錄中都有一個 robots.txt 文件。 在其中，爬蟲將被告知他們應該搜索您網站的哪些部分。 他們應該或不應該爬過地面。 在我們的討論中，我們介紹了創建文件物理版本的方法以及如何編輯它。

您是否應該將 Robots.txt 文件添加到您的 WordPress 網站？

安裝 WordPress 後，它會自動生成一個 robots.txt 文件。 搜索引擎索引器歸檔此目錄以確定站點上的哪些頁面被索引。 在大多數情況下，不需要將 Robots.txt 文件添加到 WordPress 網站。 但是，為了提高您的搜索引擎排名，您可以添加 robots.txt 文件來管理搜索引擎索引。

如何在 WordPress 中打開機器人 Txt 文件？

有幾種方法可以在 WordPress 中打開 robots.txt 文件。 一種方法是簡單地轉到您的 WordPress 安裝文件夾並在文本編輯器中打開文件。 另一種方法是使用WP Robots Txt之類的插件從 WordPress 管理區域內編輯文件。

幾乎每個網站上都有一個 robots.txt 文件，但大多數人不了解它的作用或如何使用它。 在本指南中，我們將查看文件及其限制，以了解如何管理您網站的訪問權限。 即使一個頁面有指向它的鏈接，如果它被 robots.txt 阻止，它仍然可能被搜索引擎索引。 Google 不會訪問您網站中的標記區域。 谷歌網站管理員分析師約翰·穆勒 (John Mueller) 表示，可以將 noindex 標籤添加到未被谷歌阻止的頁面。 您可以使用流行的 Yoast SEO 插件來創建（然後編輯）一個 SEO 模板。 通過右鍵單擊 Yoast 的界面，將您的 robots.txt 文件放在適當的位置。

同樣，您可以在 All in One SEO 插件中實現這種類型的集成。 請繼續閱讀有關必須在 WordPress robots.html 文件中指定的不同類型指令的更多信息。 在添加規則之前，您必須首先選擇規則應應用於哪個用戶代理，然後使用 Disallow 和 Allow 選擇要應用的規則數。 如果您想限制對文件夾及其子文件夾的訪問，則禁止訪問文件夾及其子文件夾但允許訪問特定子文件夾的特定文件夾可能是個好主意。 允許允許您授予對特定文件夾中特定文件的訪問權限，但阻止您訪問整個文件夾。 WordPress 在處理查詢時使用名為?s= 的查詢參數。 您只需添加以下規則即可配置訪問阻止。

使用此功能也可以避免軟 404 錯誤，並在它們發生時阻止它們。 即使您的目標是美國以外的特定地區，也沒有必要阻止 Googlebot 進入該國家/地區。 谷歌對不理解帶有隱形字符的命令感到惱火。 很遺憾，這會使我們的 robots.txt 文件的第一行無效。 它與在 robots.txt 文件中使用 noindex 標記不同，後者稱為 Disallow 命令。 另一方面，Bots.txt 沒有索引，但它確實阻止了抓取。 您可以使用它通過添加特定規則來配置搜索引擎和其他機器人與您的網站交互的方式。 對於大多數根本不使用 WordPress 的人來說，沒有必要更改默認的虛擬 robots.html 文件。 但是，如果您對特定機器人或插件有問題，您可以添加自己的規則。

如何將 Robots.txt 文件添加到您的站點

如果您使用的是 WordPress，則可以使用“添加新頁面”嚮導輕鬆將此文件添加到您的站點。 然後，在文件 URL 字段中，輸入 robots.txt 文件的 URL。 通過單擊儀表板中的“管理頁面”菜單項，也可以將此文件添加到 WordPress 頁面。
如果您不使用 WordPress，則可能需要以不同的方式將 robots.txt 添加到您的網站。 如果您的計算機上安裝了 FTP 客戶端，則可以輕鬆添加此文件； 如果您的計算機上安裝了文件管理器，則可以輕鬆添加它。

我需要機器人 Txt 文件 WordPress 嗎？

這個問題沒有明確的答案，因為它取決於所討論的特定 WordPress 站點以及它具有什麼樣的內容或功能。 然而，一般來說，對於 WordPress，robots.txt 文件並不是絕對必要的，儘管在某些情況下它可能很有用。 例如，如果 WordPress 站點包含大量敏感或機密信息，則可以使用 robots.txt 文件來防止搜索引擎索引這些內容。

robots.txt 文件是一個簡單的文本文件，它告訴搜索引擎何時何地不應抓取您的網站。 您可以使用此功能阻止搜索引擎訪問您網站上的不同文件和文件夾。 在本文中，我們將向您展示如何創建一個並為您提供一些我們推薦的插件，讓您自己完成工作。 每個搜索引擎在其搜索結果中都包含一個網絡爬行用戶代理。 例如，Googlebot 會將您網站的內容編入索引以供 Google 的搜索引擎使用。 您可以選擇為每個用戶代理配置自定義指令。 robots.txt 文件可以通過在域名後輸入“/robots.txt”來訪問。

您可以通過點擊鏈接指示機器人在兌換斜線後不要查看網站上的任何頁面。 預算抓取定義為搜索引擎機器人可以在會話中抓取的 URL 數量。 每個網站都會有一個特定的抓取預算。 如果您的網站上有很多頁面，您應該首先檢查機器人是否在抓取您最有價值的頁面。 WordPress 的 Yoast SEO 插件允許您從儀表板輕鬆創建 robots.txt 文件。 接下來，使用 Filezilla 等 FTP 客戶端手動上傳文件。 如果您想在您的網站上顯示該文件，請確保它位於根文件夾中。

要創建一個，如果文件不存在，您需要使用像記事本這樣的文本編輯器。 robots.txt 文件應始終位於您網站的根目錄。 無論您是否擁有此文件，搜索引擎都會繼續抓取您的網站並為其編制索引。 在 Google Search Console 中測試您的 robots.txt 文件很簡單。 通過點擊“立即添加資源”，您可以在幾分鐘內將您的網站添加到 Google 搜索中。 在每個網站上維護特定的抓取預算至關重要。 您必須考慮機器人在會話期間必須訪問的頁面數。 如果機器人在會話期間沒有完成對您網站上所有頁面的抓取，它將返回您的網站並在下一個會話中繼續抓取。 快速解決方法是阻止搜索機器人抓取不必要的頁面、媒體文件、插件、主題文件夾等，從而節省您的抓取配額。

簡單地說，將以下行添加到您的 robots.txt 文件中：代理：用戶。 Googlebot 服務當前正在使用中。 如果您沒有 robots.txt 文件，Googlebot 會抓取您的網頁並在搜索引擎中自動將它們編入索引。

為什麼你應該添加一個 Robots.txt 文件來改進你的搜索引擎優化

您可以通過下載 robots.txt 文件來提高您網站的搜索引擎排名。 爬蟲將在您網站的根目錄中查找此文件，以查看是否允許內容以及原因。

編輯 Robots.txt WordPress

如果您想編輯 robots.txt 文件，您可以前往 WordPress 儀表板，然後單擊“設置”選項卡。 從那裡，您將找到“閱讀”部分，您可以在其中編輯 robots.txt 文件。

robots.txt 文件除了告訴搜索引擎您的網站可以去哪里外，還告訴他們如何抓取它。 如果您指示您的機器人不要抓取您網站上不必要的頁面，您可以提高其加載速度，並可能在搜索引擎中排名更高。 在這篇文章中，我們將向您展示如何使用 WordPress 編輯您的 robots.html 文件。 由於某些原因，需要 robots.txt 文件。 在加載網站時使用 meta noindex 標籤而不是 robots.txt。 為什麼它在我們的生活中如此重要。 雖然系統允許您指定哪些搜索引擎和其他機器人與您的網站交互，但它並沒有明確禁止搜索引擎或其他機器人為您的內容編制索引。

讓我們來看看如何使用 AIOSEO 一步一步地在 WordPress 中編輯 robots.html 文件。 規則構建器允許您為機器人可能訪問或可能不訪問的特定頁面創建自己的規則。 創建自定義規則時，您可以在 User Agents 字段中輸入 User Agent（例如Googlebot crawler ）。 在確定應允許或拒絕哪些機器人後，您必須在目錄路徑字段中輸入目錄路徑或文件名。 如果您保存新規則，它們將在 Robots.txt 預覽部分中可見。 您可以通過單擊打開機器人來查看您的 robots.txt 文件。 此文本將在可用時立即發送到您的移動設備。 只需輸入規則的詳細信息，您就可以修改它們。 刪除規則的一些示例將在單獨的部分中顯示。

WordPress 的默認 Robots.txt

如果您創建一個 WordPress 站點並且不創建自定義 robots.txt 文件，您的站點將自動生成一個默認 robots.txt 文件，其中包括以下內容： User-agent: * Disallow: / 第一行，User-agent: * , 適用於所有網絡爬蟲。 第二行 Disallow: / 指示所有網絡爬蟲不要索引您網站上的任何頁面。 這是限制性最強的設置，不建議用於大多數 WordPress 網站。

使用結構良好的 robots.txt 文件將允許您將搜索引擎機器人引導至您的網站。 他們被告知在觀看這些房間時要與這些房間保持距離。 即使您不是技術嚮導，您也可以創建此文件以滿足您的需求，即使您不知道任何編碼。 當您創建 WordPress 網站時，它會為您創建一個虛擬 robots.txt 文件。 阻止機器人訪問基於此文件的管理員和 WP-includes 目錄。 要進行更改，您必須首先創建一個新文件，然後將其上傳到根文件夾。 Robots.txt 可以通過兩種方式在 WordPress 中編輯：通過插件或手動。

在此示例中，我們創建了一組新規則來防止 Bing 的搜索機器人爬過我們的網站。 大多數機器人幾乎肯定會遵循您在此文件中的說明，但您並沒有試圖強迫它們這樣做。 安裝並激活 WordPress 的 Yoast SEO 插件後，您將能夠直接從 WordPress 儀表板編輯 robots.txt 文件。 All-in-One SEO Pack 是另一個在WordPress SEO方面需要注意的 SEO 包，而且使用起來也非常簡單。 Yoast 是類似的產品，但重量要輕得多。 就像在記事本或 TextEdit 中鍵入幾行文本以創建 robots.txt 文件一樣簡單。 要測試文件，請通過 FTP 上傳，然後使用 Google Search Console。

All In One SEO Pack 包含一個可用於阻止“壞”機器人的工具。 如果您想提高網站的知名度，搜索引擎機器人抓取最相關的信息至關重要。 WordPress robots.txt 文件可讓您輕鬆指定機器人與網站的交互方式。 他們將更容易向搜索引擎展示相關且有用的內容。

如何更新您的 WordPress Robots.txt 文件

如果網站的根目錄不包含物理文件，WordPress 會生成一個虛擬 robots.txt 文件。 要啟用虛擬文件，您必須首先按照以下步驟覆蓋它： 打開瀏覽器並導航到您網站的根目錄。
檢查 robots.txt 文件。
請對文件進行任何必要的更改。
檢查您是否已保存文件。
您的網站必須重新加載。
robots.txt 文件可以通過轉到左側邊欄中的“插件”菜單並蒐索來更新。 通過從菜單中選擇“設置”對 robots.txt 文件進行任何更改。