【教程】如何编写和优化WordPress网站的Robots.txt

要知道WordPress robots.txt文件中的“Disallow”命令与页面头部的元描述noindex 的作用不完全相同。您的robots.txt会阻止抓取，但不一定不进行索引，网站文件（如图片和文档）除外。如果搜索引擎从其他地方链接，它们仍然可以索引您的“不允许爬取”的页面。

因此，Prevent Direct Access Gold不再使用robots.txt禁止规则阻止您的网站页面进行搜索索引。相反，我们使用  noindex元标记，这也有助于谷歌和其他搜索引擎正确地在您的网站上为您的内容分发其入站链接值。

Yoast建议保持robots.txt干净  ，不要阻止包括以下任何内容：

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Disallow: /wp-content/plugins/

Disallow: /wp-includes/

WordPress也同意说理想的robots.txt 不应该禁止任何东西。事实上，/wp-content/plugins/ 和  /wp-includes/ 目录包含您的主题和插件可能用于正确显示您的网站的图像，JavaScript或CSS文件。阻止这些目录意味着插件和WordPress的所有脚本，样式和图像被阻止，这使得Goo