Proxy Pool
包含http(s)/socks的极简代理池服务。
注:大佬就不用看了,你们分分钟撸一个自己的^_^
python3.6
windows
说明
为什么叫极简?
你可能已经搜过关于代理池,大多用到了数据库储存,打分,提前验证什么的,定时刷新(嗯..这个功能我用一种相比更简单的方式也加上了),复杂、不那么简单,动手做的过程中慢慢发现了问题。。。
免费代理根本不需要用数据库做保存,也不需要验证好了放数据库,需要的时候拿。免费代理就像丢盔弃甲的残兵败将,有力气的还能挥两下钝剑,也就那两下,上一秒活着,下一秒就死了,又或者这一秒躺着像个死人,下一秒又爬起来走两步,
极低的质量和极低的稳定性根本不值得提前做验证使用数据库当宝一样保存起来。
这个代理池的核心部分也就100来行,即便是初学者,也能快速开始使用。建议你先从爬代理的两个py开始看。
啥功能?
通过requests get方法获取一个socks代理
requests.get('localhost:5000/socks/').text
通过requests get方法获取一个http(s)代理
requests.get('localhost:5000/https/').text
通
极简Python爬虫代理池服务实现

本文介绍了一个简洁的Python代理池服务,适用于http(s)和socks代理。该服务无需数据库存储,每10分钟自动刷新,并提供获取代理和手动刷新的功能。适合初学者快速上手。附带一个简单的使用代理池服务的爬虫案例。
最低0.47元/天 解锁文章
419

被折叠的 条评论
为什么被折叠?



