MageeLen的专栏

本文翻译自500 lines or less系列文章，原文链接，作者：Ned BatchelderNed Batchelder是一名非常有经验的工程师，目前就职于edX，主要从事开源软件推广工作，他同时也是coverage.py的维护者，Boston Python的组织者，并参与多个PyCons，甚至还接受过美国的白宫晚宴，他的博客地址为http://nedbatchelder.com。

本文翻译自500L系列文章，原文链接, 原文作者A. Jesse Jiryu Davis 和 Guido van Rossum.A. Jesse Jiryu Davis是纽约MongoDB的一名工程师，他是MongoDB Python 驱动Motor的主要作者，同时他也是MongoDB C语言驱动项目的重要成员。他的个人博客地址。Guido van Rossum是Python的创建者，Python社

本文继续上一节的话题：异步网络爬虫的实现。回调函数的编写就目前我们写的异步框架，实现一个网络爬虫还是十分困难的，即使是实现一个简单的读取一个页面都很难。不过我们还是来尝试写一下抓取URL的代码，首先我们定义两个全局的集合来保存需要爬取的网址urls_todo = set(['/']) seen_urls = set(['/'])这里seen_urls是urls_todo和已经抓取过的网址的一个合集，

本文继续上一节的话题：异步网络爬虫的实现。Python 中的生成器在讲解生成器之前，我们先来回忆一下Python中常规函数的实现。一般一个Python函数也可以称为一个子程序，当Python调用一个子程序的时候，子程序将接管整个程序直到程序返回或抛出一个异常。def foo(): bar()def bar(): pass标准的Python解释器是用C语言写的，因此对Python子程序

本文继续上一节的话题：异步网络爬虫的实现。开启协程现在我们正式回到我们之前实现网络爬虫的话题。一个网络爬虫的实现主要有以下几个步骤：抓取一个页面，分析页面链接，加载链接到一个队列。这样直到整个网站页面抓取完成，但是这里受限于客户端和服务器，我们只抓取一定数量的页面。为了保证效率，当一个页面抓取完成后，程序要立即从队列中获取下一个页面的链接，并进行抓取。如果队列中的链接没有那么多的话，程序需要暂停一部

最近在Django中使用MySQL碰到不少问题，现在把这些坑一一记录以防止再次遇到相同的问题。安装MySQLMySQL的安装还是比较简单的，在ubuntu中直接通过apt-get安装即可，命令如下：sudo apt-get install mysql-serverdjango 中MySQL的配置django中数据库的配置在项目文件夹下的setting.py中，找到DATABASE部分，修改如下DAT