IP池的建立

最新推荐文章于 2025-03-14 20:42:57 发布
最新推荐文章于 2025-03-14 20:42:57 发布
阅读量906 收藏 3
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40678222/article/details/112607744
版权

目录

一.常见ip代理免费厂商

二.查看网页是否为静态加载网页

三.抓取ip

四.验证ip是否有效

五.总代码

 

一.常见ip代理免费厂商

ip代理免费厂商
厂商名称网址
免费代理IP库http://ip.jiangxianli.com
快代理https://www.kuaidaili.com
云代理 http://www.ip3366.net
全网代理http://www.goubanjia.com
66代理http://www.66ip.cn

二.查看网页是否为静态加载网页

以快代理为例，火狐浏览器

①单击右键，选择查看页面源代码

②Ctrl+F键，在左下的搜索框输入页面的任意一个ip地址，若能显示，则网页是静态加载的页面


三.抓取ip

import requests
import random
import parsel
import time


user_agent = [
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
        "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
        "Mozilla/5.0 (X11; Linux x86_64; rv:76.0) Gecko/20100101 Firefox/76.0",
  ]

ip_list = list()

#抓取第1到2999页的ip地址
for page in range(1,3000):
    print("正在爬取第{}页".format(page))
    url = "https://www.kuaidaili.com/free/inha/{}/".format(page)
    print(url)
    headers = { 
        'User-Agent':user_agent[random.randint(1,20)],
    }
    
    response = requests.get(url,headers=headers)
    
#     response = requests.get(url,headers=headers)
    data = response.text
    
    html_data = parsel.Selector(data)
    data_list = html_data.xpath('//table[@class="table table-bordered table-striped"]/tbody/tr')

    
    for tr in data_list:
        proxies_dict = dict()
        ip = tr.xpath("./td[1]/text()").extract_first()
        ip_port = tr.xpath("./td[2]/text()").extract_first()
        http_type = tr.xpath("./td[4]/text()").extract_first()
        proxies_dict[http_type] = ip + ":" + ip_port
        ip_list.append(proxies_dict)
        print(proxies_dict)
    time.sleep(2)
print("###################end####################")
print(len(ip_list))

四.验证ip是否有效

以访问天天基金的网页为例

#保存有效ip
def write(id):
    f = open('G:/id.txt','a+')
    f.write("{}\n".format(id))
    f.close()

header = {
    'User-Agent':user_agent[random.randint(1,21)],
    'Accept-Encoding':"gzip, deflate, br",
    'Accept-Language':'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2'  
}
count = 0
for proxy in ip_list:
    try:
        response = requests.get("https://fund.eastmoney.com/",headers=header,proxies=proxy,timeout=0.1)
        if response.status_code == 200:
            write(proxy)  #将有效的ip保存在txt文件里
            print("*"*50)
            count+=1
            print(count)
    except Exception as e:
        print(e)
print("end")
print("&"*50)

五.总代码

import requests
import random
import parsel
import time

#将有ip地址保存在txt文件里
def write(id):
    f = open('G:/id2.txt','a+')
    f.write("{}\n".format(id))
    f.close()

user_agent = [
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
        "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
        "Mozilla/5.0 (X11; Linux x86_64; rv:76.0) Gecko/20100101 Firefox/76.0",
  ]


ip_list = list()
for page in range(1,3000):
    print("正在爬取第{}页".format(page))
    url = "https://www.kuaidaili.com/free/inha/{}/".format(page)
    print(url)
    headers = { 
        'User-Agent':user_agent[random.randint(1,20)],
    }
    
    “““
#用代理ip去爬取ip，可能会失效，得重新设置代理ip
proxy = {
        'HTTP': '218.65.67.6:9000',
        'HTTPS':'218.65.67.6:9000'
    }

    
    response = requests.get(url,headers=headers,proxies=proxy,timeout=1)
”“”

    response = requests.get(url,headers=headers)
    data = response.text
    
    html_data = parsel.Selector(data)
    data_list = html_data.xpath('//table[@class="table table-bordered table-striped"]/tbody/tr')

    
    for tr in data_list:
        proxies_dict = dict()
        ip = tr.xpath("./td[1]/text()").extract_first()
        ip_port = tr.xpath("./td[2]/text()").extract_first()
        http_type = tr.xpath("./td[4]/text()").extract_first()
        proxies_dict[http_type] = ip + ":" + ip_port
        ip_list.append(proxies_dict)
        print(proxies_dict)
    time.sleep(2)
print("###################end####################")
print(len(ip_list))

print("###################ip验证####################")
header = {
    'User-Agent':user_agent[random.randint(1,21)],
    'Accept-Encoding':"gzip, deflate, br",
    'Accept-Language':'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2'  
}
count = 0
for proxy in ip_list:
    try:
        response = requests.get("https://fund.eastmoney.com/",headers=header,proxies=proxy,timeout=0.1)
        if response.status_code == 200:
            write(proxy)
            print("*"*50)
            count+=1
            print(count)
    except Exception as e:
        print(e)
print("end")
print("&"*50)

 

爬虫项目————IP代理池监控维护器
weixin_41460135的博客
08-15 922
文章目录IP代理池监控维护器项目简介（readme）项目名称项目背景项目需求项目技术细节爬虫模块（spider）模块内容代码实现结果演示工具模块（utils）模块内容代码实现数据库模块（db）模块功能代码实现定时模块（scheduler）模块功能代码实现过滤代理池模块（ProxyPoolFilter）模块功能代码实现报警模块（error）模块功能代码实现获取代理模块（get_proxy）模块功能代...
Python构建代理ip池
一个专注于机器学习基础与实战的技术博客，内容涵盖算法推导、模型实现、数学原理与代码实践。用通俗的语言解析复杂概念，记录学习过程中的思考与总结，适合机器学习爱好者和从业者参考。
01-18 8880
文章目录概述提供免费代理的网站代码导包网站页面的urlip地址检测整理必要参数总代码总结 概述 用爬虫时，大部分网站都有一定的反爬措施，有些网站会限制每个 IP 的访问速度或访问次数，超出了它的限制你的 IP 就会被封掉。对于访问速度的处理比较简单，只要间隔一段时间爬取一次就行了，避免频繁访问；而对于访问次数，就需要使用代理 IP 来帮忙了，使用多个代理 IP 轮换着去访问目标网址可以有效地解决问题。 目前网上有很多的代理服务网站提供代理服务，也提供一些免费的代理，但可用性较差，如果需求较高可以购买付费代理
Python爬虫：搭建本地IP池
irisMoon06的博客
02-04 3933
API接口层的作用是提供API接口，让其他程序可以与IP池系统进行交互，例如查询可用代理IP、获取新的代理IP等。这样，代理池中始终有多个不断更换的、有效的代理ip，且我们可以无间隔随机从池子中取出代理ip，然后让爬虫程序使用代理ip访问目标网站，解决在爬虫或其他应用中遇到的封禁、限制等问题。IP质量检测器的作用是检测代理IP的质量，包括代理IP的连接速度、稳定性、匿名性等特征。2.代理IP获取器：用于从外部资源中获取代理IP，例如从公开代理IP网站上爬取代理IP、从代理服务商订购代理IP等。
手把手教你搭建海外代理 IP 池，实现稳定高效的数据爬取
SNN_Ryan的博客
03-05 1290
至此，你已经成功搭建了一个可用的全球代理 IP 池，并能用它进行网页数据爬取！定期优化 IP 池，智能切换代理，让你的爬虫更加稳定高效，高效全球公开网络数据！
怎么组建一个ip池？
yypzy27997的博客
09-29 1150
组建IP池的过程包括确定需求、选择IP来源、设置和维护IP池。通过购买代理服务、自建代理服务器、使用VPN等方法获取IP，结合有效的管理和监控，可以创建一个稳定、可靠的IP池，满足多种网络应用需求。
建立自己的ip池
Yanghongru的博客
03-12 806
换ip是使用爬虫不可避免的一部分,建立属于自己优质的ip池可以大大提高我们的效率 下面是一个非常简单的一个版本,初步了解一下ip池的建立流程,以后还会继续更新 import requests from lxml import etree import pymysql conn = pymysql.connect() #连接数据库 cursor = conn.cursor() url = "h...
搭建代理IP池
Panda4u的博客
07-30 1万+
目录 爬取前的准备 爬取有IP内容 检查IP的可用性 上一期讲到在爬取豆瓣电影Top250时，出现ip被封的情况，解决方案给出了两种： 1. 换个WiFi或者热点； 2. 搭建代理IP池。 那么这期就来搭建代理IP池。通常来说，搭建代理IP池，就是爬取代理IP网站，然后做成一个IP的形式，最后在requests请求访问网站的时候proxies指定IP去访问。 爬取前的准备 有很多...
爬虫高匿代理IP池建立，从此爬虫再也不怕被封IP了
04-16
一键建立属于自己的高匿代理IP池；爬虫再也不用担心IP地址被封了，国内高匿https、http代理获取。拥有一个属于自己的代理IP池，从此爬虫畅行无阻。
【python爬虫】如何建立代理ip池？.pdf
05-29
【Python爬虫】如何建立代理IP池是网络爬虫领域中的一个重要话题，因为频繁的爬取活动可能会导致目标网站对你的IP进行封锁。为了解决这个问题，我们可以建立一个代理IP池，通过轮换不同的IP来避免被目标网站识别。...
自建代理IP池管理系统
06-10
4. **IP池管理**：建立一个数据库来存储和管理代理IP，包括IP地址、类型（高匿名、匿名、透明）、速度、稳定性等属性。同时，应有策略性地分配和轮换IP，避免过度使用。 5. **API设计**：设计RESTful API接口，让...
爬取西刺代理建立自己的IP池
07-26
爬取西刺代理IP，爬取多少页都OK，并将代理IP验证是否可用，可用存入xls表格。
自建一个小型的ip代理池-适合新人练手入门
02-07
自建一个小型的ip代理池呢 结合博客网址学习：https://blog.youkuaiyun.com/qq_33125039/article/details/82229277
教你自己搭建一个ip池(绝对超好用！！！！)
Globalizationa的博客
01-15 2万+
随着我们爬虫的速度越来越快，很多时候，有人发现，数据爬不了啦，打印出来一看。 不返回数据，而且还甩一句话 是不是很熟悉啊？ 要想想看，人是怎么访问网站的？ 发请求，对，那么就会带有 request.headers， 那么当你疯狂请求别人的网站时候，人家网站的管理人员就会 觉得有点不对劲了， 他看看请求的 header 信息，一看吓一跳，结果看到的 headers 信息是这样的： Host: 127...
搭建IP代理池 - ProxyPool
老鹰的博客
06-28 4555
ProxyPool是一个简易高效的代理池，他可以在windows上搭配redis使用，也可以在Docker使用提供如下功能：1、定时抓取免费代理网站，简易可扩展。2、使用 Redis 对代理进行存储并对代理可用性进行排序。3、定时测试和筛选，剔除不可用代理，留下可用代理。4、提供代理 API，随机取用测试通过的可用代理。
python建立ip池
小月牙
11-26 8362
建立ip池 ip池对于大批量的数据爬取是很有必要的，一些网站采用ip访问频率的限制，一不小心ip就被封了,这时候可以 ①花钱买代理ip（稳定） ②爬取免费代理ip建立ip池（不稳定） 两种方式都可以就看你手头银子够不够了 免费的代理ip网址有很多，百度ip代理,会弹出一大堆的网址,可以随意选几个来获取 基本上代理ip网址都没什么反爬,简单的xpath+正则都能搞定 ,但是要注意访问频...
ip池
热门推荐
qq_42717902的博客
09-13 9万+
182.99.253.180:61234 39.137.77.67:8080 118.212.137.135:31288 221.182.133.161:375 59.44.16.6:8000 117.127.0.197:8080 39.135.35.19:80 47.89.18.87:80 221.182.133.175:9999 218.65.67.15:61234 121...
Java实现Ip代理池
weixin_33860722的博客
01-19 1223
设置Ip代理很多时候都会有用到，尤其是在写爬虫相关项目的时候。虽然自己目前没有接触这种需求，但由于最近比较闲，就写着当作练习吧 爬取代理IP 爬取 关于爬取代理IP，国内首先想到的网站当然是 西刺代理 。首先写个爬虫获取该网站内的Ip吧。 先对 国内Http代理 标签页面进行爬取，解析页面使用的Jsoup ，这里大概代码如下 private List<IPBean> crawl(St...
创建代理IP池
最新发布
以为很难
03-14 453
创建一个ip代理池，降低被封的危险，成功爬取数据。
简易代理IP池的搭建
weixin_43374551的博客
05-11 6451
简易代理IP池搭建
使用redis建立ip代理池
04-22
好的，关于使用 Redis 建立 IP 代理池，你可以先利用 Redis 的 Hash 类型存储需要代理的 IP 地址与端口，然后通过编写 Python 脚本定时从代理服务器获取有效代理 IP 地址，调用 Redis 的 BLPOP 命令从代理池中取出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值