搜索引擎利用“蜘蛛”程序自动访问网页获取信息。网站可创建纯文本文件robots.txt，声明不想被蜘蛛访问的部分，以此控制网站部分或全部内容不被搜索引擎访问和收录，也可指定只收录特定内容，且搜索引擎爬行网站时首个访问的就是该文件。
搜索引擎通过一种程序“蜘蛛”（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被蜘蛛访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎访问和收录了，或者可以通过robots.txt指定使搜索引擎只收录指定的内容。搜索引擎爬行网站第一个访问的文件就是robots.txt。
百度百科 -- robot.txt
反开源爬虫 robot.txt
最新推荐文章于 2025-07-22 18:44:44 发布
扫一扫
580
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
