Smile_Lai的博客

gevent协程池+selenium采集电影信息数据, 源码实测

代理服务器 1代理的原理： 代理服务器可以理解为信息中转站，设置代理之后，我们的请求不是直接发送给web服务器，而是先发送给代理服务器。返回的响应也是先给代理，代理在给我们。 2.代理的作用与功能： 1、突破自身IP 访问限制， ...

爬虫(Spider)，反爬虫(Anti-Spider)前言:网络爬虫（Spider或Crawler），顾名思义，就是在互联网上爬行的虫子，那么这只虫子为什么要在网上爬行呢？很简单：收集信息。在互联网时代，谁掌握了信息谁就把握了主动权。一,爬虫部分一些简单建议：(1...

1,前言:为什么selenium+phantomjs可以获取大多数网站数据?原因:正常requests模块得到的响应内容全部是js代码，因为很多网站得到的响应内容全部是js代码，没有页面数据，无法通过xpath等一下提取数据的方法获取数据。而selenium+phantomjs可以做到，获取页面数据之后，运行响应中的js代码，来完整的获取到想要数据。2,认识selenium及phant...