如何将机器人 Txt 文件添加到 WordPress（只需 3 个简单步骤）

将 robots.txt 文件添加到您的 WordPress 网站是一个简单的过程，只需几个步骤即可完成。 robots.txt 文件是一个文本文件，它告诉搜索引擎爬虫应该索引您网站上的哪些页面以及应该忽略哪些页面。 通过将某些页面排除在索引之外，您可以改进网站的搜索引擎优化 (SEO)。 有几种不同的方法可以将 robots.txt 文件添加到 WordPress。 最简单的方法是使用 Yoast SEO 或 All in One SEO Pack 之类的插件，它会自动为您生成 robots.txt 文件。 或者，您可以自己创建一个 robots.txt 文件并通过 FTP 将其上传到您的 WordPress 站点。 无论您选择哪种方法，请务必在启用之前测试您的 robots.txt 文件，以确保它按预期工作。

在搜索引擎中获得特定关键字的存在对于网站所有者来说至关重要，因为它可以确保他们的网站出现在 SERP 中。 网站管理员可以通过将指令插入到特殊文件 robots.txt 中来设置搜索引擎机器人在网站内外花费的时间。 在本教程中，我将向您展示如何将“robots.txt”文件添加到您的 WordPress 网站，以防止搜索引擎访问您网站的特定部分。 使用 FileZilla 连接到 Cloudways 平台。 您可以在 /applications/ [FOLDER NAME]/public_html 中创建一个名为 robots.txt 的新文件。 在文本编辑器中打开文件（记事本是一个不错的选择）。 通配符设置允许下载某些类型的文件。

星号 (* 可以处理的选项/选择没有限制。此外，如果选择了特定的扩展名，您可以限制可以关闭的文件数量。Robots.txt 是用于 SEO 的绝佳文件目的。这取决于您希望在 SERP 中显示 WordPress 站点的多少部分。如果您的站点有站点地图，则应包含一个 URL 以帮助搜索引擎定位它。这些目录通常不需要被索引通过搜索引擎。因此，页面可以更快地建立索引。

因此，您必须在网站的脚本中包含 robots.txt，以使搜索引擎避免索引某些部分。 如果您的站点配置不正确（例如删除 /），它将被 Google 取消索引。 你也应该小心。 你有机会完成任务。 请告诉我您是否使用这种类型的文件以及它的设置。

txt 是最简单的文件格式之一。 机器人被编程为“允许”（即，将它们编入索引）和“禁止”（即，拒绝它们）基于它们想要查看的页面。 后者仅用于列出您不希望蜘蛛抓取的页面。

网站可以使用名为 txt 的文本文件向网络爬虫程序提供指令。 Google 和其他搜索引擎使用网络爬虫（也称为网络机器人）对网站进行存档和分类。 机器人搜索通常用于机器人中。

Robots.txt 可以添加到 Internet 上的文件中。 要查看网站的指令（如果网站有机器人），请将 URL 发送到任何根域的末尾。

我在哪里放置机器人 Txt 文件 WordPress？

通过转到 FTP 客户端的左侧部分（我们使用 Filezilla）创建FTP 机器人列表。 您保存了之前在计算机上创建的 txt 文件。 您可以通过右键单击它并选择上传来上传它。 该文件将在瞬间上传，您将能够在您的 WordPress 根目录中看到它。

robots.txt 文件位于您的 WordPress 根目录中，是一个文本文件。 为了让搜索引擎机器人了解他们应该抓取您网站上的哪些页面，它会显示应该和不应该抓取哪些页面的列表。 可以指示文件避免爬网，而不是索引。 如果恶意机器人破坏了您的网站，一个好的安全插件是必不可少的。 WordPress 为每个使用它的网站创建一个虚拟 robots.txt 文件。 如果你想改变一些东西，你有三个选择。 Yoast SEO 插件是最流行的网站优化工具之一，是一个很好的选择。

All in One SEO，另一个免费的 SEO 插件，提供了多种附加功能。 如果您以前使用过 FTP，您就知道可以将 robots.txt 文件上传到您的服务器。 您将在 robots.txt 文件中看到一个名为 Robots.txt 的新部分，之后您可以在其中向文件添加规则和指令。 User-agent 和 Disallow 都是包含在此文件中的指令。 如果您想指定单个机器人（例如 Bingbot），或者如果您希望指令适用于所有机器人，请输入星号（用户代理：*）。 过多的爬取请求会使服务器过载，导致使用 Crawl-delay 指令。 因为没有爬虫支持这个指令，所以最好谨慎使用。

如果您使用 Sitemap 指令，搜索引擎将被定向到您的 XML 站点地图文件。 在以下部分中，我们将向您展示两个示例片段，演示 robots.txt 指令的使用。 每个 WordPress 站点的根目录中都有一个 robots.txt 文件。 在其中，爬虫将被告知他们应该搜索您网站的哪些部分。 他们应该或不应该爬过地面。 在我们的讨论中，我们介绍了创建文件物理版本的方法以及如何编辑它。

您是否应该将 Robots.txt 文件添加到您的 WordPress 网站？

安装 WordPress 后，它会自动生成一个 robots.txt 文件。 搜索引擎索引器归档此目录以确定站点上的哪些页面被索引。 在大多数情况下，不需要将 Robots.txt 文件添加到 WordPress 网站。 但是，为了提高您的搜索引擎排名，您可以添加 robots.txt 文件来管理搜索引擎索引。

如何在 WordPress 中打开机器人 Txt 文件？

有几种方法可以在 WordPress 中打开 robots.txt 文件。 一种方法是简单地转到您的 WordPress 安装文件夹并在文本编辑器中打开文件。 另一种方法是使用WP Robots Txt之类的插件从 WordPress 管理区域内编辑文件。

几乎每个网站上都有一个 robots.txt 文件，但大多数人不了解它的作用或如何使用它。 在本指南中，我们将查看文件及其限制，以了解如何管理您网站的访问权限。 即使一个页面有指向它的链接，如果它被 robots.txt 阻止，它仍然可能被搜索引擎索引。 Google 不会访问您网站中的标记区域。 谷歌网站管理员分析师约翰·穆勒 (John Mueller) 表示，可以将 noindex 标签添加到未被谷歌阻止的页面。 您可以使用流行的 Yoast SEO 插件来创建（然后编辑）一个 SEO 模板。 通过右键单击 Yoast 的界面，将您的 robots.txt 文件放在适当的位置。

同样，您可以在 All in One SEO 插件中实现这种类型的集成。 请继续阅读有关必须在 WordPress robots.html 文件中指定的不同类型指令的更多信息。 在添加规则之前，您必须首先选择规则应应用于哪个用户代理，然后使用 Disallow 和 Allow 选择要应用的规则数。 如果您想限制对文件夹及其子文件夹的访问，则禁止访问文件夹及其子文件夹但允许访问特定子文件夹的特定文件夹可能是个好主意。 允许允许您授予对特定文件夹中特定文件的访问权限，但阻止您访问整个文件夹。 WordPress 在处理查询时使用名为?s= 的查询参数。 您只需添加以下规则即可配置访问阻止。

使用此功能也可以避免软 404 错误，并在它们发生时阻止它们。 即使您的目标是美国以外的特定地区，也没有必要阻止 Googlebot 进入该国家/地区。 谷歌对不理解带有隐形字符的命令感到恼火。 很遗憾，这会使我们的 robots.txt 文件的第一行无效。 它与在 robots.txt 文件中使用 noindex 标记不同，后者称为 Disallow 命令。 另一方面，Bots.txt 没有索引，但它确实阻止了抓取。 您可以使用它通过添加特定规则来配置搜索引擎和其他机器人与您的网站交互的方式。 对于大多数根本不使用 WordPress 的人来说，没有必要更改默认的虚拟 robots.html 文件。 但是，如果您对特定机器人或插件有问题，您可以添加自己的规则。

如何将 Robots.txt 文件添加到您的站点

如果您使用的是 WordPress，则可以使用“添加新页面”向导轻松将此文件添加到您的站点。 然后，在文件 URL 字段中，输入 robots.txt 文件的 URL。 通过单击仪表板中的“管理页面”菜单项，也可以将此文件添加到 WordPress 页面。
如果您不使用 WordPress，则可能需要以不同的方式将 robots.txt 添加到您的网站。 如果您的计算机上安装了 FTP 客户端，则可以轻松添加此文件； 如果您的计算机上安装了文件管理器，则可以轻松添加它。

我需要机器人 Txt 文件 WordPress 吗？

这个问题没有明确的答案，因为它取决于所讨论的特定 WordPress 站点以及它具有什么样的内容或功能。 然而，一般来说，对于 WordPress，robots.txt 文件并不是绝对必要的，尽管在某些情况下它可能很有用。 例如，如果 WordPress 站点包含大量敏感或机密信息，则可以使用 robots.txt 文件来防止搜索引擎索引这些内容。

robots.txt 文件是一个简单的文本文件，它告诉搜索引擎何时何地不应抓取您的网站。 您可以使用此功能阻止搜索引擎访问您网站上的不同文件和文件夹。 在本文中，我们将向您展示如何创建一个并为您提供一些我们推荐的插件，让您自己完成工作。 每个搜索引擎在其搜索结果中都包含一个网络爬行用户代理。 例如，Googlebot 会将您网站的内容编入索引以供 Google 的搜索引擎使用。 您可以选择为每个用户代理配置自定义指令。 robots.txt 文件可以通过在域名后输入“/robots.txt”来访问。

您可以通过点击链接指示机器人在兑换斜线后不要查看网站上的任何页面。 预算抓取定义为搜索引擎机器人可以在会话中抓取的 URL 数量。 每个网站都会有一个特定的抓取预算。 如果您的网站上有很多页面，您应该首先检查机器人是否在抓取您最有价值的页面。 WordPress 的 Yoast SEO 插件允许您从仪表板轻松创建 robots.txt 文件。 接下来，使用 Filezilla 等 FTP 客户端手动上传文件。 如果您想在您的网站上显示该文件，请确保它位于根文件夹中。

要创建一个，如果文件不存在，您需要使用像记事本这样的文本编辑器。 robots.txt 文件应始终位于您网站的根目录。 无论您是否拥有此文件，搜索引擎都会继续抓取您的网站并为其编制索引。 在 Google Search Console 中测试您的 robots.txt 文件很简单。 通过点击“立即添加资源”，您可以在几分钟内将您的网站添加到 Google 搜索中。 在每个网站上维护特定的抓取预算至关重要。 您必须考虑机器人在会话期间必须访问的页面数。 如果机器人在会话期间没有完成对您网站上所有页面的抓取，它将返回您的网站并在下一个会话中继续抓取。 快速解决方法是阻止搜索机器人抓取不必要的页面、媒体文件、插件、主题文件夹等，从而节省您的抓取配额。

简单地说，将以下行添加到您的 robots.txt 文件中：代理：用户。 Googlebot 服务当前正在使用中。 如果您没有 robots.txt 文件，Googlebot 会抓取您的网页并在搜索引擎中自动将它们编入索引。

为什么你应该添加一个 Robots.txt 文件来改进你的搜索引擎优化

您可以通过下载 robots.txt 文件来提高您网站的搜索引擎排名。 爬虫将在您网站的根目录中查找此文件，以查看是否允许内容以及原因。

编辑 Robots.txt WordPress

如果您想编辑 robots.txt 文件，您可以前往 WordPress 仪表板，然后单击“设置”选项卡。 从那里，您将找到“阅读”部分，您可以在其中编辑 robots.txt 文件。

robots.txt 文件除了告诉搜索引擎您的网站可以去哪里外，还告诉他们如何抓取它。 如果您指示您的机器人不要抓取您网站上不必要的页面，您可以提高其加载速度，并可能在搜索引擎中排名更高。 在这篇文章中，我们将向您展示如何使用 WordPress 编辑您的 robots.html 文件。 由于某些原因，需要 robots.txt 文件。 在加载网站时使用 meta noindex 标签而不是 robots.txt。 为什么它在我们的生活中如此重要。 虽然系统允许您指定哪些搜索引擎和其他机器人与您的网站交互，但它并没有明确禁止搜索引擎或其他机器人为您的内容编制索引。

让我们来看看如何使用 AIOSEO 一步一步地在 WordPress 中编辑 robots.html 文件。 规则构建器允许您为机器人可能访问或可能不访问的特定页面创建自己的规则。 创建自定义规则时，您可以在 User Agents 字段中输入 User Agent（例如Googlebot crawler ）。 在确定应允许或拒绝哪些机器人后，您必须在目录路径字段中输入目录路径或文件名。 如果您保存新规则，它们将在 Robots.txt 预览部分中可见。 您可以通过单击打开机器人来查看您的 robots.txt 文件。 此文本将在可用时立即发送到您的移动设备。 只需输入规则的详细信息，您就可以修改它们。 删除规则的一些示例将在单独的部分中显示。

WordPress 的默认 Robots.txt

如果您创建一个 WordPress 站点并且不创建自定义 robots.txt 文件，您的站点将自动生成一个默认 robots.txt 文件，其中包括以下内容： User-agent: * Disallow: / 第一行，User-agent: * , 适用于所有网络爬虫。 第二行 Disallow: / 指示所有网络爬虫不要索引您网站上的任何页面。 这是限制性最强的设置，不建议用于大多数 WordPress 网站。

使用结构良好的 robots.txt 文件将允许您将搜索引擎机器人引导至您的网站。 他们被告知在观看这些房间时要与这些房间保持距离。 即使您不是技术向导，您也可以创建此文件以满足您的需求，即使您不知道任何编码。 当您创建 WordPress 网站时，它会为您创建一个虚拟 robots.txt 文件。 阻止机器人访问基于此文件的管理员和 WP-includes 目录。 要进行更改，您必须首先创建一个新文件，然后将其上传到根文件夹。 Robots.txt 可以通过两种方式在 WordPress 中编辑：通过插件或手动。

在此示例中，我们创建了一组新规则来防止 Bing 的搜索机器人爬过我们的网站。 大多数机器人几乎肯定会遵循您在此文件中的说明，但您并没有试图强迫它们这样做。 安装并激活 WordPress 的 Yoast SEO 插件后，您将能够直接从 WordPress 仪表板编辑 robots.txt 文件。 All-in-One SEO Pack 是另一个在WordPress SEO方面需要注意的 SEO 包，而且使用起来也非常简单。 Yoast 是类似的产品，但重量要轻得多。 就像在记事本或 TextEdit 中键入几行文本以创建 robots.txt 文件一样简单。 要测试文件，请通过 FTP 上传，然后使用 Google Search Console。

All In One SEO Pack 包含一个可用于阻止“坏”机器人的工具。 如果您想提高网站的知名度，搜索引擎机器人抓取最相关的信息至关重要。 WordPress robots.txt 文件可让您轻松指定机器人与网站的交互方式。 他们将更容易向搜索引擎展示相关且有用的内容。

如何更新您的 WordPress Robots.txt 文件

如果网站的根目录不包含物理文件，WordPress 会生成一个虚拟 robots.txt 文件。 要启用虚拟文件，您必须首先按照以下步骤覆盖它： 打开浏览器并导航到您网站的根目录。
检查 robots.txt 文件。
请对文件进行任何必要的更改。
检查您是否已保存文件。
您的网站必须重新加载。
robots.txt 文件可以通过转到左侧边栏中的“插件”菜单并搜索来更新。 通过从菜单中选择“设置”对 robots.txt 文件进行任何更改。