qq_31187881的博客

协程用的不多，但是也是实现并发的一种方式，协程的特点是，在执行的过程中，如果遇到需要等待的时候，会自动切换到另外一个协程中执行，本次是用协程的特点，实现一个并发的爬虫。首先，创建一个协程执行的函数，如：函数参数的含义：url : 爬取的网站连接start：爬取的起始页（每个协程中爬取的起始页都不相同）end：爬取的终止也页（同上）file：爬取的数据存储的文件在主函数（main）中创建五个协程：H...

本项目爬取的是新片场的小视频，起始的url为: http://www.xinpianchang.com/channel/index/sort-like总共有三层页面，分别是：1、首页面，如下:2、视频的详细页面，如下：3、创作者的页面，如下：该项目实现的就是把这三层页面中重要的信息都爬取下来，然后保存到mysql数据库，代码如下（呈现的主要是spider类中的代码）：import jsonimp...