【爬虫】解析-豆瓣网站规范`robots.txt`

最新推荐文章于 2025-10-05 09:27:38 发布

原创

最新推荐文章于 2025-10-05 09:27:38 发布 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #经验分享

本文详细介绍了如何解析豆瓣网站的robots.txt文件，包括User-agent、Disallow、Allow、Sitemap等关键指令的用法，帮助理解爬虫抓取规则，并探讨了路径冲突时的优先级处理。

【爬虫】解析-豆瓣网站规范`robots.txt`

文章目录

【爬虫】解析-豆瓣网站规范`robots.txt`
- robots.txt
- 解释
- 参考

robots.txt

User-agent: *
Disallow: /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /forum/
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Disallow: /link2/
Disallow: /recommend/
Disallow: /doubanapp/card
Disallow: /update/topic/
Allow: /ads.txt
Sitemap: https://www.douban.com/sitemap_index.xml
Sitemap: https://www.douban.com/sitemap_updated_index.xml
# Crawl-delay: 5

User-agent: Wandoujia Spider
Disallow: /

User-agent: Mediapartners-Google
Disallow: /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /j/