weixin_38859557的博客

1：git 的操作问题，如何在linux环境下用命令进行代码的更新上传操作（从github上）2：爬虫架构问题：如何构建一个可靠的分布式爬虫系统3：mysql操作问题：如何创建虚拟列，创建索引。高效的进行数据库操作；4：linux命令，常用命令（包括，rm，mv等），并且应该进一步了解一些高级的命令，如系统管理命令，防火墙配置命令，网络配置命令，以及各个linux发行版本，配置文件以及...

1：关于怎样判别最后一个item的问题：可以通过start_url 中的最后一条进行判断，如果，start_url 中的url只是其实的，你可以先拿到最后一条的最后一页的那一页页号，然后在spider中声明一个类变量，先设置未False ，然后在条件触发是设置成为True，最后在pipeline中判断。2：关于构建异步数据处理的带来的数据存储滞后问题:需要在spider 关闭的...