scrapy proxy and user_agent

最新推荐文章于 2025-09-12 15:58:40 发布
转载 最新推荐文章于 2025-09-12 15:58:40 发布 · 154 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/rabbittail/p/7836705.html
文章标签：

#python #java #xhtml

本文介绍如何在Scrapy爬虫项目中设置随机UserAgent和代理IP池，通过自定义中间件实现每次请求更换不同的UserAgent和代理地址，有效避免被目标网站封禁。

1.在settings.py同级目录下新建文件useragent.py

Java代码  收藏代码
  1. # -*-coding:utf-8-*-  
  2. from scrapy import log  
  3. import logging  
  4.   
  5. import random  
  6. from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware  
  7. class UserAgent(UserAgentMiddleware):  
  8.   
  9.     def __init__(self, user_agent=''):  
  10.         self.user_agent = user_agent  
  11.   
  12.     def process_request(self, request, spider):  
  13.         ua = random.choice(self.user_agent_list)  
  14.         if ua:  
  15.             #显示当前使用的useragent  
  16.             #print "********Current UserAgent:%s************" %ua  
  17.             #记录  
  18.             log.msg('Current UserAgent: '+ua, level=logging.DEBUG)  
  19.             request.headers.setdefault('User-Agent', ua)  
  20.   
  21.     #the default user_agent_list composes chrome,I E,firefox,Mozilla,opera,netscape  
  22.     #for more user agent strings,you can find it in http://www.useragentstring.com/pages/useragentstring.php  
  23.     user_agent_list = [\  
  24.         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "  
  25.         "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",  
  26.         "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 "  
  27.         "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",  
  28.         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 "  
  29.         "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",  
  30.         "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 "  
  31.         "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",  
  32.         "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 "  
  33.         "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",  
  34.         "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 "  
  35.         "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",  
  36.         "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 "  
  37.         "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",  
  38.         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "  
  39.         "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",  
  40.         "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 "  
  41.         "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",  
  42.         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 "  
  43.         "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",  
  44.         "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "  
  45.         "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",  
  46.         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "  
  47.         "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",  
  48.         "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "  
  49.         "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",  
  50.         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "  
  51.         "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",  
  52.         "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 "  
  53.         "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",  
  54.         "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "  
  55.         "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",  
  56.         "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 "  
  57.         "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",  
  58.         "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 "  
  59.         "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"  
  60.        ]  

 

2.在settings.py同级目录新建文件proxymiddlewares.py

Java代码  收藏代码
  1. # -*- coding: utf-8 -*-  
  2. import random, base64  
  3.   
  4.   
  5. class ProxyMiddleware(object):  
  6.   
  7.     proxyList = [ \  
  8.         '121.193.143.249:80','112.126.65.193:80','122.96.59.104:82','115.29.98.139:9999','117.131.216.214:80','116.226.243.166:8118','101.81.22.21:8118','122.96.59.107:843'      
  9.         ]  
  10.   
  11.     def process_request(self, request, spider):  
  12.         # Set the location of the proxy  
  13.         pro_adr = random.choice(self.proxyList)  
  14.         print("USE PROXY -> " + pro_adr)  
  15.         request.meta['proxy'] = "http://" + pro_adr  

 

3.修改settings.py (注意DOWNLOADER_MIDDLEWARES)

Java代码  收藏代码
  1. # -*- coding: utf-8 -*-  
  2.   
  3. BOT_NAME = 'ip_proxy_pool'  
  4.   
  5. SPIDER_MODULES = ['ip_proxy_pool.spiders']  
  6. NEWSPIDER_MODULE = 'ip_proxy_pool.spiders'  
  7.   
  8. # Obey robots.txt rules  
  9. ROBOTSTXT_OBEY = False  
  10.   
  11. ITEM_PIPELINES = {  
  12.    'ip_proxy_pool.pipelines.IpProxyPoolPipeline': 300,  
  13. }  
  14.   
  15. #爬取间隔  
  16. DOWNLOAD_DELAY = 1  
  17.   
  18. # 禁用cookie  
  19. COOKIES_ENABLED = False  
  20.   
  21.   
  22. # 重写默认请求头  
  23. DEFAULT_REQUEST_HEADERS = {  
  24.   'Accept': 'text/html, application/xhtml+xml, application/xml',  
  25.   'Accept-Language': 'zh-CN,zh;q=0.8',  
  26.   'Host':'ip84.com',  
  27.   'Referer':'http://ip84.com/',  
  28.   'X-XHR-Referer':'http://ip84.com/'  
  29. }  
  30.   
  31. #激活自定义UserAgent和代理IP  
  32. # See http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html  
  33. DOWNLOADER_MIDDLEWARES = {  
  34.    'ip_proxy_pool.useragent.UserAgent': 1,  
  35.    'ip_proxy_pool.proxymiddlewares.ProxyMiddleware':100,  
  36.    'scrapy.downloadermiddleware.useragent.UserAgentMiddleware' : None,  
  37. }  

 

转载于:https://www.cnblogs.com/rabbittail/p/7836705.html

Scrapy 框架爬取名言（scrapy中使用User-Agent和代理）
若尘的博客
04-14 2338
scrapy爬取名言，如何在scrapy中使用ua和代理
python爬虫之Scrapy框架:两种随机选择User-Agent的方法
修炼的Coder
05-05 2772
修改请求时的User-Agent一般有两种思路:一是修改setting中的User-Agent变量(适用于极少量的agent更换,一般不采用);另一种就是通过Downloader Middleware的process_request()方法来修改,即在middlewares.py里面添加一个RandomUserAgentMiddleware的类.首先介绍下scrapy框架默认的UserAgentM...
Scrapy研究探索（七）——如何防止被ban之策略大集合
热门推荐
younghz
06-29 4万+
话说在尝试设置download_delay小于1，并且无任何其他防止被ban的策略之后，我终于成功的被ban了。如下： 敌退我进，敌攻我挡。 本篇博客主要研究使用防止被ban的几大策略以及在scrapy中的使用。 1.策略一：设置download_delay 这个在之前的教程中已经使用过（http://blog.csdn.net/u012150179/article
爬虫入门之反反爬虫机制cookie UA与中间件(十三)
weixin_30432007的博客
07-09 429
1. 通常防止爬虫被反主要有以下几个策略 (1)动态设置User-Agent(随机切换User-Agent,模拟不同的浏览器) 方法1: 修改setting.py中的User-Agent # Crawl responsibly by identifying yourself (and your website) on the user-agent USER_AGENT = 'Hello World...
Scrapy框架给请求加代理ip
wojiucaonen的博客
05-30 909
重写start_request方法 我在Scrapy框架的Spider类中重写了start_requests方法： 比较简单，只是在meta中加了一个proxy代理。 使用DOWNLOAD中间件 在middlewares.py中增加一个类，取名：ProxyMiddleware即代理中间件： 这里的初始化方法可以忽略，是我业务上的需求，主要是看这里的process_request方法，加...
scrapy 爬取 useragent
derek881122的博客
08-31 114
useragentstring.com 网站几乎廊括了所有的User-Agent，刚学了scrapy，打算那它练手，把上面的 user-agent 爬取下来。 本文只爬取常见的 FireFox, Chrome, Opera, Safri, Internet Explorer 一、创建爬虫项目 1.创建爬虫项目useragent $ scrapy startproject useragen...
SCRAPY之动态设置user-agent和IP代理池
爬山的小明
02-04 5095
UA代理池和IP代理池 1. UA代理池 ​ UA代理池也称作user-agent代理池，目的是在http头部加入user-agent选项，模拟浏览器进行发包给服务器端，起到伪装作用。也是很重要的一种反爬策略之一。 ​ 大部分服务器在请求快了会首先检查User_Agent,而scrapy默认的浏览器头是scrapy1.1 我们需要开启并且修改成浏览器头，如：Mozilla/5...
scrapy设置动态User-Agent扩展知识
jylihh的博客
08-03 710
想想大家也清楚，一个爬虫最基础的防反扒机制是动态设置User-Agent(以下简称UA)，在scrapy中有几个与随机User-Agent相关的设置，我今天来跟大家交流交流这几个方面。 在setting.py内的简单设置有ROBOTSTXT_USER_AGENT、USER_AGENT、DEFAULT_REQUEST_HEADERS，以下是它们的默认值 ROBOTSTXT_USER_AGENT=None 官方文档原话： The user agent string to use
Scrapy设置User-Agent和proxy代理
Auto
05-01 482
文章目录User-Agent Proxy#0 GitHub#1 环境#2 准备#2.1 目标站点#2.2 新建scrapy爬虫#3 开始#3.1 设置 User-Agent User-Agent Proxy #0 GitHub #1 环境 Python3.7.3 Scrapy==1.6.0 #2 准备 #2.1 目标站点 http://httpbin.org/get #2.2 新建scrapy...
scrapy设置user-agent 和ip的和在线打码适合python3代码
04-18
self.user_agent_list = user_agent_list @classmethod def from_crawler(cls, crawler): return cls(crawler.settings.getlist('USER_AGENTS')) def process_request(self, request, spider): request....
Scrapy源码阅读分析_5_Scrapy-settings源码分析
墨鱼菜鸡
07-11 353
From：https://blog.csdn.net/weixin_37947156/article/details/74972642 The global defaults are located in thescrapy.settings.default_settingsmodule and documented in theBuilt-in...
scrapy微博反爬虫_scrapy绕过反爬虫
weixin_34816557的博客
12-24 1049
这里还是用scrapy框架写的爬虫。最近才开始学习的，经过搜索了之后，常见的反爬虫方案大致有几个：1.针对用户行为，常见的就是网站会针对ip访问频率统计，访问太过频繁，会禁止该ip地址的访问2.判断Header，比如如果User-agent是爬虫或者检测工具，或者非正常的浏览器，就禁止该次连接3.数据加载方式，采用ajax异步加载，这样只是爬取静态页面的话什么信息都没有办法得到下面实现一下每一个方...
Scrapy如何使用代理IP、user agent、Cookies来避免反爬虫策略
Q2780683887的博客
07-21 298
因此，为了避免这种情况出现，我们需要在scrapy框架的爬虫程序中应用代理ip、user agent以及cookies等策略。在上述代码中，我们定义了一个RandomUserAgent类，并随机选择了一个User-Agent作为请求头中的user agent信息。在上述代码中，我们定义了一个RandomCookies类，并随机选择了一个Cookies作为请求头中的Cookies信息。同时，代理IP还可以让我们有机会在多个IP下进行爬取，从而避免单一IP频繁请求而被封禁的情况发生。
spider【第八篇】Scrapy突破反爬虫的限制
dfu65065的博客
11-23 243
setting文件 为什么项目中需要配置文件 在配置文件中存放一些公共变量，在后续的项目中便便修改，注意其中的变量名一般全部大写 配置文件中的变量使用方法 导入即可使用 settings.py中的重点字段和内涵 USER_AGENT 设置ua ROBOTSTXT_OBEY 是否遵守robots协议，默认是遵守 C...
Python的f格式
lmf666的博客
09-11 788
你的语句print(f"已发送请求: {a} + {b}")可以通俗地理解为：“打印一句话。这句话的内容是‘已发送请求: ’，然后紧接着把变量a的值放这里，再放一个加号 ‘+’，再然后把变量b的值放这里。这种的格式是当今 Python 世界最主流、最推荐的字符串格式化方式，因为它写起来最自然，读起来最清晰。希望你以后多多使用它！
python 从pycharm部署到新环境
最新发布
小叶lr的博客
09-12 228
项目里面肯定会引用了一些模块依赖，这里需要生成一个requirements.txt文件，他的作用类型与java的pom或者vue的package.json，就是表明当前用了哪些依赖及对应的版本。首先了解一下 python的虚拟环境，正常pip install的依赖作用范围是整个电脑，但由于每个py项目不同 依赖都会有区别，python有了虚拟环境来隔离这些依赖。创建的py项目，pycharm默认已经帮我们创好了一个虚拟环境。此时，导出工作已经做完了，在你需要部署的电脑上。1.python环境安装好。
知识图谱——图数据库与项目构建
renjt01的博客
09-10 500
知识图谱——图数据库与项目构建 一、图数据库 1.Neo4j 2.neo4j使用 3.创建节点 4.创建关系 5.删除所有节点和关系 6.效果展示 二、知识问答项目构建 1、前端构建 2、大模型进行问题分类和命名实体识别 3、python操作neo4j数据库 4、后端构建
Python爬虫实战：研究GUI 可视化界面，构建电商数据采集和分析系统
ylfhpy的博客
09-11 271
本文设计并实现了一个基于 Python 的爬虫数据分析系统，该系统整合了网络爬虫、数据处理、数据分析和数据可视化功能，通过直观的 GUI 界面为用户提供了从数据获取到分析决策的一站式解决方案。切换到 "数据可视化" 标签页，选择 "柱状图"，X 轴选择 "category"，Y 轴选择 "price"，点击 "绘制图表"，可以看到不同类别商品的价格对比。可视化模块实现了多种常见图表的绘制功能，包括折线图、柱状图、散点图、直方图、饼图和相关性热力图等，并支持图表的交互操作和保存功能。
【Python】 数据容器通用操作完全指南
Hy_g_g_e_的博客
09-10 685
Python数据容器（如列表、元组、字符串、集合、字典等）支持多种通用操作，包括成员检测（in/not in）、长度判断（len()）、布尔判断（空容器为False）、迭代遍历（for循环、enumerate()、zip()）、比较操作（==、<）、复制操作（浅拷贝/深拷贝）以及类型转换（list()、tuple()等）。这些通用操作能提高编程效率，适用于各种常见场景，如数据验证、输入处理、数据转换等。掌握这些通用方法可以更灵活地处理不同类型的数据容器。
Scrapy教程：设置User-Agent和动态代理的Python3代码实现
结合以上知识点，编写一个Scrapy爬虫以拉钩网为例，需要设置User-Agent，并且可能使用fake-useragent库动态生成User-Agent，同时考虑到反爬虫措施，可能还会用到动态代理技术。此外，如果遇到验证码，可能会集成在线...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值