问题总结

1：git 的操作问题，如何在linux环境下用命令进行代码的更新上传操作（从github上）

2：爬虫架构问题：如何构建一个可靠的分布式爬虫系统

3：mysql操作问题：如何创建虚拟列，创建索引。高效的进行数据库操作；

4：linux命令，常用命令（包括，rm，mv等），并且应该进一步了解一些高级的命令，如系统管理命令，防火墙配置命令，网络配置命令，以及各个linux发行版本，配置文件以及软件安装位置的熟悉。

5:python环境搭建问题1

6：能够有一个快速部署分布式爬虫的方式（docker方式，网速不快的话，镜像下载慢）

7：怎样高效的使用scrapy的异步机制，主要在数据插入（pipeline中使用），怎样在pipeline中实现异步请求；

8:关于网络堵塞导致爬虫数据存储速度跟不上爬虫数据抓取速度的问题；

    解决办法：1：通过在服务端设置异步响应方式。先返回信息，让服务器继续存储数据，爬虫继续抓取数据，不至于阻塞时间过长；但是存在的问题时无法及时将数据插入信息传到客户端，但是这个问题可以通过服务端的log记录进行解决；

2：将服务器与客户端爬虫设置成为长连接（持久连接，类似于数据库连接形式的那种，这样就不用每次发送的请求都需要建立tcp连接；将速度消耗在建立连接上，最伤的时美国服务器与哈尔滨爬虫客户端的连接建立延迟是200多毫秒，这个有点伤；

3：最好的方式不是在服务端设置异步，最好的方式是在scrpay的pipeline中异步发送数据；