Scrapy 爬虫框架 ——User Agent

最新推荐文章于 2025-05-13 16:22:05 发布

Luke Liu

最新推荐文章于 2025-05-13 16:22:05 发布

阅读量521

点赞数

CC 4.0 BY-SA版权

分类专栏： Scarpy 文章标签： User Agent

本文链接：https://blog.youkuaiyun.com/magicboom/article/details/89643728

Scarpy 专栏收录该内容

7 篇文章

订阅专栏

本文介绍如何在Scrapy框架中设置UserAgent,通过在settings.py文件中指定USER_AGENT参数来实现,这有助于爬虫更好地伪装成浏览器进行网页抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如何设置Scrapy框架的User Agent 呢？

在settings.py中设置即可：

BOT_NAME = 'tecent'

SPIDER_MODULES = ['tecent.spiders']
NEWSPIDER_MODULE = 'tecent.spiders'

LOG_LEVEL="WARNING"
# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/66.0'