干货分享，python爬虫自建代理ip池。抓取大数据。

最新推荐文章于 2025-05-24 21:46:52 发布
转载 最新推荐文章于 2025-05-24 21:46:52 发布 · 7.9k 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://www.jianshu.com/p/300c57fff664
文章标签：

#python #chrome #spring

1 设置 User-agent

Scrapy 官方建议使用 User-Agent 池, 轮流选择其中一个常用浏览器的 User-Agent来作为 User-Agent。scrapy 发起的 http 请求中 headers 部分中 User-Agent 字段的默认值是Scrapy/VERSION ，我们需要修改该字段伪装成浏览器访问网站。无私分享全套Python爬虫干货，如果你也想学习Python，@ 私信小编获取

  1. 同样在 setting.py 中新建存储 User-Agent 列表,
UserAgent_List = [
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2226.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.4; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2224.3 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.93 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.93 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36",
    "Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1944.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.3319.102 Safari/537.36",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2309.372 Safari/537.36",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2117.157 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1866.237 Safari/537.36",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/4E423F",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1",
    "Mozilla/5.0 (Windows NT 6.3; rv:36.0) Gecko/20100101 Firefox/36.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10; rv:33.0) Gecko/20100101 Firefox/33.0",
    "Mozilla/5.0 (X11; Linux i586; rv:31.0) Gecko/20100101 Firefox/31.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20130401 Firefox/31.0",
    "Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0",
    "Opera/9.80 (X11; Linux i686; Ubuntu/14.10) Presto/2.12.388 Version/12.16",
    "Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14",
    "Mozilla/5.0 (Windows NT 6.0; rv:2.0) Gecko/20100101 Firefox/4.0 Opera 12.14",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0) Opera 12.14",
    "Opera/9.80 (Windows NT 5.1; U; zh-sg) Presto/2.9.181 Version/12.00"
]
  1. 在 middlewares.py 文件中新建一个名为RandomUserAgentMiddleware的代理中间层类
import random

from scrapy_demo.settings import UserAgent_List

class RandomUserAgentMiddleware(object):
    '''动态随机设置 User-agent'''
    def process_request(self, request, spider):

        ua = random.choice(UserAgent_List)
        if ua:
            request.headers.setdefault('User-Agent', ua)
            print(request.headers)
  1. 在 settings.py 中配置 RandomUserAgentMiddleware , 激活中间件
DOWNLOADER_MIDDLEWARES = {

    # 第二行的填写规则
    #  yourproject.middlewares(文件名).middleware类

    # 设置 User-Agent
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
    'scrapy_demo.middlewares.RandomUserAgentMiddleware': 400,  # scrapy_demo 是你项目的名称
}

2 禁用cookies

有些站点会使用 cookies 来发现爬虫的轨迹。因此，我们最好禁用 cookies

在 settings.py 文件中新增以下配置。

# 默认是被注释的, 也就是运行使用 cookies
# Disable cookies (enabled by default)
COOKIES_ENABLED = False

3 设置下载延迟

当 scrapy 的下载器在下载同一个网站下一个页面前需要等待的时间。我们设置下载延迟, 可以有效避免下载器获取到下载地址就立刻执行下载任务的情况发生。从而可以限制爬取速度, 减轻服务器压力。

在 settings.py 文件中新增以下配置。

# 默认是被注释的
# Configure a delay for requests for the same website (default: 0)
# See http://scrapy.readthedocs.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 3 
# 单位是秒,  上述设置是延迟 3s。 
# 同时还支持设置小数, 例 0.3, 延迟 300 ms

4 设置代理

有些网站设置反爬虫机制，这使得我们的爬虫程序可能爬到一定数量网页就爬取不下去了。我们需要装饰下爬虫，让它访问网站行为更像类人行为。使用 IP 代理池能突破大部分网站的限制。

  1. 我们可以通过国内一些知名代理网站(例如：迅代理、西刺代理)获取代理服务器地址。

我将自己收集一些代理地址以列表形式保存到 settings.py 文件中

# 代理地址具有一定的使用期限, 不保证以下地址都可用。
PROXY_LIST = [
    "https://175.9.77.240:80",
    "http://61.135.217.7:80",
    "http://113.77.101.113:3128"
    "http://121.12.42.180:61234",
    "http://58.246.59.59:8080",
    "http://27.40.144.98:808",
    "https://119.5.177.167:4386",
    "https://210.26.54.43:808",
]
  1. 在 middlewares.py 文件中新建一个名为ProxyMiddleware的代理中间层类

 

import random

from scrapy_demo.settings import PROXY_LIST

class ProxyMiddleware(object):
    # overwrite process request
    def process_request(self, request, spider):
        # Set the location of the proxy
        # request.meta['proxy'] = "https://175.9.77.240:80"
        request.meta['proxy'] = random.choice(PROXY_LIST)
  1. 在 settings.py 文件中增加代理配置：

 

DOWNLOADER_MIDDLEWARES = {

    # 第二行的填写规则
    #  yourproject.middlewares(文件名).middleware类

    # 设置代理
    'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
    'scrapy_demo.middlewares.ProxyMiddleware': 100,  # scrapy_demo 是你项目的名称
}

除此之外，如果你比较狠的话，可以采用 VPN + Tor 方式来突破反爬虫机制。

为了帮助大家更轻松的学好Python，我给大家分享一套Python学习资料，希望对正在学习的你有所帮助！

获取方式：关注并私信小编 “ 学习 ”，即可免费获取！


 

yingpu618
关注
超强干货之---Python-数据爬取（爬虫）
房东的猫的博客
07-12 5万+
定义： 深度优先搜索是一种遍历或搜索树或图的算法，从起始节点开始，一直沿着一个分支走到底，再回溯到上一个节点继续搜索下一个分支，直到遍历完所有节点。特点递归：通常用递归实现，或者使用栈来模拟递归过程。内存占用低：在有大量分支的情况下，内存占用比广度优先搜索低。适合目标较深的情况：如果目标节点距离起始节点较深，DFS能更快找到目标。适用场景需要遍历所有节点的情况，如生成树、迷宫搜索。目标节点较深，且分支较多时。在大规模数据爬取时，选择合适的存储方式取决于数据的规模、结构和访问需求。
【2025最新版】用Python爬虫自动抓取汽车零部件库存数据全解析与实战代码
2201_76125261的博客
05-21 717
网络爬虫（Web Crawler）是自动访问网页并提取信息的程序。早期爬虫多用简单的requests + 正则表达式实现，但随着网页结构复杂化及JavaScript渲染普及，传统技术逐渐无法满足需求。同步爬取：如requests配合，适合静态网页。异步爬取：如aiohttp，提升爬取效率。浏览器自动化：如SeleniumPlaywright，支持动态内容加载。分布式爬虫框架：如Scrapy，支持大规模爬取。反爬策略突破：代理IP池、动态请求头、验证码识别。
聊聊爬虫和IP代理
m0_72829928的博客
09-27 1083
动态代理IP，指访问目标网站服务器的代理IP是不断变化的。这种设置的优势明显。TIPS：平时我们需要用到爬虫时，如果IP被限制速度什么的，可以自定义一个时间自动切换ip，这样就可以提高爬虫下效率啦~当然，一般爬虫只是。这种方式，当代理连接发生错误时，会直接抛出异常，而并不是使用本地的连接继续访问。这是最简单的使用代理Ip的方式，直接在浏览器上设置代理服务器，然后访问网站。按协议类型分类，代理IP分为http(s)代理IP和socks5代理IP。按时效划分的话，可将代理IP分为静态代理IP和动态代理IP。
爬虫IP代理
liaojsgtcg的博客
10-26 1034
我们再使用自己的电脑去爬取网页信息的时候，会发现一些网页爬取次数过多，该网页就把你的电脑IP给封了。我们就无法进入想要进入的网页，或者长时间不能进入。 使用IP代理可以解决网页封IP的问题。 代理就是代理服务器。 作用 突破自身IP访问的限制,破解封IP这种反爬机制 隐藏自身真实IP 代理相关的网站： 快代理 代理ip的类型： http：应用到http协议对应的url中 https：应用到https协议对应的url中 使用方法： 我们在向网页发送请求是加入代理皆可成功使用代理。 .
[爬虫知识] IP代理
2401_87328929的博客
05-24 1489
介绍IP代理在爬虫中的场景，与不同的IP代理的特性以及如何构建一个爬虫池并在具体爬虫项目中使用。
爬虫(3)之ip代理
yzhua_777的博客
04-25 511
为什么ip会被封？ 当我们爬取一些网站时，会发现ip被封了。这是因为网站为了防止被爬取，会有反爬机制，对于同一个ip地址的大量同类型的访问，会封锁ip，过一段时间后才能继续访问 如何解决ip被封的问题？ 有几种方法： 1.修改请求头，模拟浏览器（不是代码去直接访问）访问 2.使用代理ip并轮换 3.设置访问时间间隔 如何获取代理ip地址 从该网站获取：https://www.xicidaili....
python爬虫——IP代理
流浪—到处搬砖的博客
03-31 467
首先我们要买代理IP，最好是1分钟1换的 import urllib.request as ur #这里就是买的IP，反馈的地址 proxy_address = ur.urlopen('http://api.ip.data5u.com/dynamic/get.html?order=d314e5e5e19b0dfd19762f98308114ba&sep=4').read().dec...
Python爬虫技术快速上手（都是干货）课件+代码.zip
最新发布
06-28
本套课程旨在帮助初学者快速掌握Python爬虫技术的核心知识和实战能力，内容涵盖了爬虫的基本概念、工具选择、以及如何构建高效稳定的数据抓取系统。 首先，课程会介绍爬虫的基本概念，包括爬虫的定义、类型以及工作...
干货 | Python爬虫实战（中）：数据可视化-教你做出漂亮的图表
infinitor的博客
04-11 1346
本文来源于公众号【程序猿声】，作者向柯玮 前言 各位看客老爷们，我又来啦。上一期我们利用Python+百度地图POI抓取了一些高校之间的距离数据，传送门： 干货 | Python爬虫实战：两点间的真实行车时间与路况分析（上） 不知道上一期的爬取数据的内容大家都品尝的怎么样了呢。 今天给大家带来的是python中对数据进行可视化处理的内容。 可能大家并不是很懂这个可视化的意思，大家可以先在脑海里...
2020最新|干货|python爬虫相关编程题目合集（附答案噢），练手必备
give_me_python的博客
09-24 1697
1.如何提升爬取数据的效率（异步爬虫） - 使用框架 - 线程池，多任务的异步协程 - 分布式 2.在爬虫中为什么需要是用selenium？selenium和爬虫之间的关联是什么？ - 爬取动态加载的数据 - 模拟登录 3.列举你所用过的python内置装饰器，至少2个。@property @staticmethod @classmethod 4.通过列表生成式，生成这样一个结果列表[1, 9, 25, 49, 81]。(2分) [x * x for x in ...
爬虫ip代理小型池
08-30
自建ip代理池，满足个人对数据下载的要求，对爬虫学习的很有帮助。比如基本爬虫的经典四步法有了更加清楚的认识，对xpath获取网页数据更加熟练，对保存到mysql数据库（增删改查，去重），也可以保存到本地并读取数据，！此外随时使用的时候就可以运行，减少金钱成本！
python3爬虫之IP代理
heyu123123123的博客
06-07 1802
IP代理的使用 为何使用代理IPUser Agetn 已经设置好了，但是还应该考虑一个问题，程序的运行速度是很快的，如果我们利用一个爬虫在网站爬取，一个固定IP的访问频率就会很高，这不符合人为操作的标准，因为人不可能在几ms内，进行如此频繁的访问。所以一些网站会设置一个IP访问频率的阈值，如果超过这个阈值，说明不是人访问，而是一个爬虫程序。 一般步骤说明简单的方法就是设置延时，但是这获取信息太慢，所
python爬虫之代理IP
你来啦！
02-19 1794
python爬虫之代理IP 免费代理网站：快代理 最好使用最新的免费代理,免费的很多都不能用 from fake_useragent import UserAgent import requests url = 'http://mip.chinaz.com/' proxies = { 'http': 'http://'+'ip:端口', 'https': 'https://'+'ip:端口' } headers = { 'user-agent': UserAgent().ra
爬虫之使用代理ip爬取
weixin_46297209的博客
11-21 2988
爬虫之代理ip的应用 ​ 在爬虫的过程中，我们经常会遇见很多网站采取了防爬虫技术，或者说因为自己采集网站信息的强度和采集速度太大，给对方服务器带去了太多的压力。 ​ 如果一直用同一个代理ip爬取这个网页，很有可能ip会被禁止访问网页，所以基本上做爬虫的都躲不过去ip问题。 ​ 爬虫使用ip代理的案例 import requests # 定义请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWeb
Python搭建代理IP池实现获取IP的方法
yuee319的专栏
07-03 3722
使用爬虫时，大部分网站都有一定的反爬措施，有些网站会限制每个 IP 的访问速度或访问次数，超出了它的限制你的 IP 就会被封掉。对于访问速度的处理比较简单，只要间隔一段时间爬取一次就行了，避免频繁访问；而对于访问次数，就需要使用代理 IP 来帮忙了，使用多个代理 IP 轮换着去访问目标网址可以有效地解决问题。 目前网上有很多的代理服务网站提供代理服务，也提供一些免费的代理，但可用性较差，如果需求较高可以购买付费代理，可用性较好。 因此我们可以自己构建代理池，从各种代理服务网站中获取代理 IP，并检测其可用性
Python爬虫基础—代理IP
m0_65050363的博客
05-06 1149
代理IP又叫代理服务器，其功能就是代理用户去获取网络信息，形象的说，它是网络的中转站
爬虫IP代理资源汇总
xiaobei16的博客
01-06 2423
通常我们要对某些网站或是app进行数据采集时，都需要解决采集软件爬虫和封IP的问题，采集软件暂且滤过，有多年网站、手机APP爬虫定制开发和数据批量采集服务经验的楚江数据团队，整理汇总爬虫IP代理服务器资源，以此来应对封IP的问题，供各位参考。         首先，代理服务器有什么用？         通过在web浏览器(chrome, firefox, ie, opera, safari a
python爬虫中的IP代理的使用
weixin_45691962的博客
05-18 356
概念：代理服务器 代理服务器的作用 fiddler就是一个典型的代理服务器的抓包工具。 代理服务器就是用来转发请求和响应。可以让代理服务器转发请求从而更换请求的原始ip地址。 代理和爬虫之间的关联？ 爬虫程序可能会在短时间内对指定的服务器发起高频的请求。服务器端会将该高频请求的ip禁掉。 代理的匿名度 透明：对方服务器知道你使用了代理也知道你的真实ip 匿名：知道你使用了代理，但是不知道你的真是ip 高匿：不知道你使用了代理，更不知道你的真是ip 代理的类型 http：只能代理http协议的请求 https
掌握Python开发全技能：全套700集教程
3. 6 2020全新 Python爬虫技术快速上手（都是干货） Python爬虫是利用Python语言编写的程序，可以自动化地从互联网上抓取信息。本部分内容将介绍网络爬虫的基本概念和原理，并提供实战案例，使学习者能够快速上手。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值