tzyyy1的博客

前言：曾找过各种方式去加速selenium，然而效果都不尽人意，最后自己花了一些时间做了一个高效selenium模块，加上高效代理，一天请求百万次可能有些吃力（cpu、网速等各方面），但是几十万的请求次数在线上测试环境没什么问题。设计逻辑：使用Selenium（模拟浏览器）加上代理，一次启动可同时打开10个（可调整）页面发起请求，并使用字典绑定每个url对应的页面权柄。在等待一定加载时间后（如20秒，可调整），开始从第一个页面开始，利用Selenium显示等待WebDriverWait（在一定时

前言：权重代理池是之前工作为采集亚马逊而开发，不出意外这个模块以后应该用不上了，但也是花了一些心力开发的，故写下这篇博客，一来纪念，二来分享，三来或许以后还有人会用到