- 博客(6)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 Python搭建代理IP池实现检测IP的方法
前两篇讲到如何获取IP和保存IP，那么在获取 IP 时，已经成功将各个网站的代理 IP 获取下来了，然后就需要一个检测模块来对所有的代理进行一轮轮的检测，检测可用就设置为满分，不可用分数就减 1，这样就可以实时改变每个代理的可用情况，在获取有效 IP 的时候只需要获取分数高的 IP由于代理 IP 的数量非常多，为了提高 IP 的检测效率，这里使用异步请求库 Aiohttp 来进行检测。至于为什么不用抓取时用的 Requests 库，是因为它是一个同步请求库，在发出一个请求之后需要等待网页加载完成之后才能继
2020-07-10 16:50:45
702
4
原创 Python搭建代理IP池存储IP
上一文写了如何从代理服务网站提取 IP，本文就讲解如何存储 IP，毕竟代理池还是要有一定量的 IP 数量才行。存储的方式有很多，直接一点的可以放在一个文本文件中，但操作起来不太灵活，而我选择的是 MySQL 数据库，因为数据库便于管理而且功能强大，当然你还可以选择其他数据库，比如 MongoDB、Redis 等。使用的库：pymysql定义规则数据库存储的主要对象是各个 IP，首先需要保证不重复，另外还需要标 IP 的可用情况，而且需要动态实时处理每个 IP，因此还需要定义一个分数字段，分数是可以重复
2020-07-04 14:05:56
3792
原创 Python搭建代理IP池实现获取IP的方法
使用爬虫时，大部分网站都有一定的反爬措施，有些网站会限制每个 IP 的访问速度或访问次数，超出了它的限制你的 IP 就会被封掉。对于访问速度的处理比较简单，只要间隔一段时间爬取一次就行了，避免频繁访问；而对于访问次数，就需要使用代理 IP 来帮忙了，使用多个代理 IP 轮换着去访问目标网址可以有效地解决问题。目前网上有很多的代理服务网站提供代理服务，也提供一些免费的代理，但可用性较差，如果需求较高可以购买付费代理，可用性较好。因此我们可以自己构建代理池，从各种代理服务网站中获取代理 IP，并检测其可用性
2020-07-03 17:32:20
3706
原创 C# dataGridView右键菜单
<br />private void dataGridView1_CellMouseDown(object sender, DataGridViewCellMouseEventArgs e)<br /> {<br /> if (e.Button == MouseButtons.Right)<br /> {<br /> if (e.RowIndex >= 0)<br /> {<br />
2010-11-11 23:12:00
2401
转载 C# 窗体间数值传递
<br />1.通过构造函数<br />特点：传值是单向的（不可以互相传值），实现简单<br />实现代码如下：<br />在窗体Form2中 <br />int value1;<br />string value2;<br />public Form2 ( int value1 , string value2 )<br />{<br /> InitializeComponent ( );<br /> this.value1 = value1;<br /> this.value2
2010-11-07 16:20:00
647
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人