Aochen的博客

目前刚学习了Python，想要自己试试爬虫下载，就看了《Python核心编程》这本书，和综合了网上很多的爬虫下载的代码，所以自己来试试。BTW：我用的是python3.6.这是单线程下载30个url：from urllib.request import urlretrieveimport timeimport randomstart=time.time()f=ope

最近在学习爬虫，对于线程、进程、多线程、多进程、协程研究了很多。因为我用的是WIN7，所以一切都是在win下实现的。在WIN下使用多进程的包multiprocessing（这是第三方包，不是模块），它有几个类：Process要在终端下运行，IDLE运行不了；同样的Pool（进程池）的map函数和Process一样要在终端运行。但奇怪的是Pool 的apply_async（异步执行）却可以在

这个代码是我转载来的，我自己使用了能正常运行。不过时间有点久了，转载谁的，我忘了，原创作者看到了，别介意呀。废话不多说了，上代码吧：import threadingimport requestsimport timeimport osclass Mythread(threading.Thread):    def __init__(self,url,st

我用的是gevent模块来使用协程，另外这里强烈推荐下Anaconda3，因为几乎所有包都有，安装很方便。gevent并发下载我是借鉴了http://blog.youkuaiyun.com/wzm112/article/details/8171146这一篇文章的，不过因为它有点旧了，所有我用了requests库重新写了下。代码非常简单，速度却比多进程和多线程快了非常多。代码如下：#同样的，下载

  最近项目要用到协程,以前的都忘了大半了,现在从新捡起来测试下,这里做下记录(机器是centos6.9 2G2核, python2.7.12):1.简单应用:import geventimport gevent.monkeygevent.monkey.patch_all()def call(x): time.sleep(3) return xclass Te...