Robots.txt 和 SEO：您需要了解的一切

什么是 robots.txt 文件？

robots.txt 文件告诉搜索引擎他们可以访问您网站上的哪些地方，以及不能访问哪些地方。

首先，它列出了您想要锁定的所有内容，不让 Google 等搜索引擎看到。您还可以告诉某些搜索引擎（不是 Google）如何 抓取允许的内容。