
网络爬虫
Kerwin_Kuang
让数据说话
展开
-
python验证IP代理是否可用
网络爬虫往往会碰到IP被封的尴尬场面,但通过IP代理可以得到解决,但往往免费的IP不稳定,所以使用之前需要验证代理的可用性,现将自己查阅相关资料总结的方法及代码记录以备日后查阅,也供有需要的朋友参阅:思路如下:1、在相关免费IP代理的网站获取可用的代理IP以及端口号,存在数据库或者文本,也可不存直接抓取验证使用2,从抓取的文件或者数据库钟读取IP及端口号和协议3,使用resqu原创 2017-10-26 16:49:19 · 5796 阅读 · 0 评论 -
Scrapy报缺少Win32Api错误
问题描述:暂时无截图解决方案:安装win32Api库即可在CMD/Terminal下执行以下命令:pip install pypiwin32原创 2017-11-28 17:31:58 · 507 阅读 · 0 评论 -
chromedriver与chrome对应版本及下载地址
chromedriver与chrome对应版本及下载地址另附无GUI的WebDriver(PhantomJS)的国内镜像地址,使用该driver可加快selenium速度原创 2017-10-24 10:51:22 · 3121 阅读 · 1 评论