关于scrapy爬取搜狐新闻网站的一点心得和体会
1,环境:本人原本使用的是win 10(CPUi5,内存8G)的环境,但自己想搭建一个分布式的爬虫,于是自己想到了虚拟机,虚拟机的环境为Ubuntu14.04,但是由于各种原因,虚拟机中的python环境(python环境要求为python3.5+)已经被我弄乱了,我在网上看到说Ubuntu16.04中有默认的python3.5+,于是果断地用了Ubuntu16.042,当环境切换为Ubuntu1...
原创
2018-03-02 15:57:27 ·
1842 阅读 ·
0 评论