robots.txt的常见写法

最新推荐文章于 2025-06-02 22:41:51 发布

hu3571951

最新推荐文章于 2025-06-02 22:41:51 发布

阅读量334

点赞数

CC 4.0 BY-SA版权

分类专栏： SEO 文章标签： robots 搜索引擎

本文链接：https://blog.youkuaiyun.com/hu3571951/article/details/84006339

SEO 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了robots.txt文件的常见写法，包括如何禁止所有搜索引擎访问网站的任何部分、禁止访问特定目录以及仅允许指定搜索引擎访问等内容。同时提供了多个知名网站的robots.txt文件链接供参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

robots.txt的常见写法

禁止所有搜索引擎访问网站的任何部分：
User-agent: *
Disallow: /
允许所有的robot访问
User-agent: *
Disallow:
或者你也可以建一个空文件:robots.txt
禁止所有搜索引擎访问网站的几个部分（如下例中的cgi-bin、tmp、private目录）
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问（下例中的WebCrawler）
User-agent: WebCrawler
Disallow:
下面是一些著名站点的robots.txt，你也可以参考他们的写法。
http://www.google.com/robots.txt
http://www.ibm.com/robots.txt
http://www.sun.com/robots.txt
http://www.baidu.com/robots.txt

常见搜索引擎Robots名字

Baiduspider http://www.baidu.com
Googlebot http://www.google.com
Scooter http://www.altavista.com
ia_archiver http://www.alexa.com
Inktomi Slurp http://www.yahoo.com
FAST-WebCrawler http://www.alltheweb.com
MSNbot http://search.msn.com