XY_Noire的博客

该文非原创文字，文字转载至jclian91 链接：https://www.cnblogs.com/jclian91/p/9799697.html问题的由来  前几天，在微信公众号（Python爬虫及算法）上有个人问了笔者一个问题，如何利用爬虫来实现如下的需求，需要爬取的网页如下（网址为：https://www.wikidata.org/w/index.php?title=Specia...

最近试着爬小说...突然发现用requests效率不尽人意，查阅了一番，发现了还有aiohttp的存在，不过需要3.5.3以上的版本才能装...看了下写的demo，10+MB的小说爬取内容仅需大约30s。在本地试了下代码...发现那个网站已经没了...自己试了下效率的确比差很多，但是远不及那个demo中30s爬取百万字数...大致代码如下...也不是很熟悉，可能有点问题- -# -*...