一直在window下进行爬虫抓取数据,但是因为国内网络的环境独特性,今天就考虑放到海外服务器上进行抓取
PS:因为之前用的Centos X86 32位的,一路没少踩坑,所以各种限制,各种坑,刚刚重装了服务器系统
PS:python2 版本也是可以的,安装scrapy也容易,关键就在于selenium.webdriver这个兼容,因为有些抓取于面需要模拟浏览器点击等行为。
PS:服务器为裸机,一切重新开始安装
服务器配置:Centos7 X86 64位
补充一个坑:要先完全pip3的安装,在进行 scrapy 等系列安装,否则默认都属于python2 的安装!
一:升级 python 版本,为什么要升级,我们来看一下 Firefox Selenium Geckodriver Python 版本之间兼容图
在测试中,我服务器上的 python2.7使用 pip 只能安装2.1版本的Selenium,所以无法使用
注意:安装python3之前请先安装,要不没有pip3 导致selenium版本为pip2安装,会报错,失败
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-