- 博客(2)
- 收藏
- 关注
RSS订阅
原创 如何创建robots.txt文件
首先开门见山第一个问题：什么是robots.txt? 这是一个文本文件，是搜索引擎爬行网页要查看的第一个文件，你可以告诉搜索引擎哪些文件可以被查看，哪些禁止。 当搜索机器人（也叫搜索蜘蛛）访问一个站点时，它首先会检查根目录是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的
2009-07-14 16:21:00
490
转载 如何创建robots.txt文件
首先开门见山第一个问题：什么是robots.txt? 这是一个文本文件，是搜索引擎爬行网页要查看的第一个文件，你可以告诉搜索引擎哪些文件可以被查看，哪些禁止。 当搜索机器人（也叫搜索蜘蛛）访问一个站点时，它首先会检查根目录是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页
2009-07-14 16:09:00
514
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人