在tornado的AsyncHttpClient中使用代理
最近想使用tornado做一个爬虫的代理服务器,代理ip从免费代理网站爬取过来,既然是免费的性能肯定不怎么好,所以在把这些代理ip存入数据库之前,需要对代理ip的性能进行测试查看tornado AsyncHttpClient的源码,发现里面有proxy_host,proxy_port, connect_timeout,request_timeout这正是检测代理所需的参数使用这些参数之后,代...
原创
2019-02-14 17:48:11 ·
2139 阅读 ·
0 评论