weixin_45032666的博客

  分布式爬虫之大结局篇：基于之前三篇博客配置的环境，缺一不可，若是漏了哪一步安装步骤，则可能存在运行报错问题。话不多说，抓紧时间结束这最后的分布式爬虫挣扎。操作环境： Windows10、Python3.6、Pycharm2019.3.1、VMware15、Xshell6相关文章： 分布式爬虫（一）：配置虚拟机      分布式爬虫（二）：配置安装Python以及redis      分布式爬虫（三）：scrapy之中国网库目录一、scrapy-redis1.1、简介1.2、修改scrap.

  上一篇博客已将虚拟机安装以及配置网卡完成，接下来继续安装Python-3.6.5版本以及redis数据库。操作环境： Windows10、VMware Workstation Pro、Centos7、Xshell6相关文章： 分布式爬虫（一）：安装虚拟机目录一、Python1.1、安装3.6.5版本1.2、pip1.2.1、pip换源1.2.2、解决pip下载“超时”二、redis一、Python1.1、安装3.6.5版本  第一步：准备编译环境yum groupinstall 'D.

   临近毕业季，因辅导员要求，写一份分布式爬虫的详细步骤文档，给予19届师弟师妹们参考学习。本应这次是继续上一个的字体加密爬虫，由于种种原因限制，就先写一份基于scrapy框架的分布式爬虫吧，后续再完善之前的字体反爬以及scrapy框架爬虫的博客。操作环境： Window10、Centos7、VMware Workstations Pro15相关文章： 爬虫（豆瓣电影、拉钩网、腾讯zp、新笔趣阁、链家网、起点中文网），豆瓣分析目录一、虚拟机1.1、安装虚拟机1.2、配置网卡1.3、Xshell.