39疾病库-scrapy爬虫

逛逛1973

已于 2024-04-11 10:52:47 修改

阅读量349

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： scrapy 爬虫 python

于 2020-11-07 19:41:11 首次发布

本文链接：https://blog.youkuaiyun.com/m0_37156901/article/details/109551210

1 篇文章

订阅专栏

本文介绍了一个爬虫项目的初始配置步骤之一：设置USER_AGENT。通过在项目的setting文件中指定USER_AGENT为spiderTest1(https://jbk.39.net/)，可以实现负责任地爬取网页，确保网站能够识别爬虫的身份。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 程序创建第一步，需要设置这个在setting文件中

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'spiderTest1 (+https://jbk.39.net/)'