u013444182的博客

本文主要是为了加快数据抓取任务，考虑使用多进程、多线程、异步原理，相关概念可以参考https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/0013868322563729e03f6905ea94f0195528e3647887415000操作系统可以同时运行多个任务。首先，考虑单核CPU是如何执行多任务的：操作系统轮流让各个任务交替执行，任务1执行0.01秒，切换到任务2，任务2执行0.01.

起因要用http请求探测服务的有效性，多进程，多线程，感觉似乎没有必要，看看有没有协程的方案1. 简单用法grequests 利用 requests和gevent库，做了一个简单封装，使用起来非常方便import grequestsimport timeimport requestsurls = [ 'https://docs.python.org/2.7/library/index.html', 'https://docs.python.org/2.7/librar

问题的由来  前几天，在微信公众号（Python爬虫及算法）上有个人问了笔者一个问题，如何利用爬虫来实现如下的需求，需要爬取的网页如下（网址为：https://www.wikidata.org/w/index.php?title=Special:WhatLinksHere/Q5&limit=500&from=0）：  我们的需求为爬取红色框框内的名人（有500条记录，图片只展示了一部分）的 名字以及其介绍，关于其介绍，点击该名人的名字即可，如下图：这就意味着我们需要爬取5