Scrapy 如何设置settings使用动态UA

Scrapy 自定义settings--简化编写爬虫操作--加快爬虫速度

爬虫应该算是数据挖掘的第一步，也是分析数据的基础，更是得出结论的基石。爬虫大到一个团队在维护，小到毕业论文。Python应该算是大家非常喜欢的爬虫语言（理由不用多说都知道的）；而scrapy框架应该算是爬虫模块、框架中的佼佼者，今天我们自定义settings.py文件。

scrapy项目结构

那么我们自定义的就是这个settings.py文件的部分设置，今天修改浏览器头。理由：

1、简单防止反爬虫（豆瓣....）

2、加快爬取速度

3、不用每次都是修改项目文件的settings.py

...........

对于settings.py文件下的很多含义参考官方文档：