爬虫环境配置

仔细想了想，2017年用python脚本尝试了最简单的爬虫；如果想做点什么，显然是不够的。于是乎，今天开始了解一下scrapy框架，以及再次想要部署portia（可视化，对于我这种不爱好编程的人说，不多做解释）。2017以失败告终。

既然都是windows上部署portia很多的坑，那就在ubuntu上吧，于是开始在Oracle VM VirtualBox虚拟机上安装ubuntu环境，基于我一贯的认识，旧版本比较稳定，于是安装了一个12.04的版本，后来再安装docker的时候，怎么都不能成功；最后删除，重新安装，目前正在安装一个16.04的版本。

参考：https://www.cnblogs.com/kfpa/p/Portia.html

ubuntu上从当前用户切换到root用户命令：su；

但首先等通过sudo passwd：来设置root用户的密码。

同时，也要把scrapy的环境部署起来呀；安装easy_install,安装lxml，安装pywin32，安装pyOpenSSL，安装Twisted，然后pip install scrapy, 你以为会OK的，但是各种各样的错误层出不穷。各种各样的依赖包，绝对是个不小的考验。（https://www.cnblogs.com/pachongshou/archive/2016/12/01/6122159.html）刚看到有人花了几周搭建这个环境，忽然之间就满满的自豪感啊！我这算小半天吧 环境配置快成精啦！

如Scrapy安装报错：AttributeError: 'module' object has no attribute 'OP_NO_TLSv1_1'解决办法