cheneyshark的博客

很早前入手了一本网络爬虫的书籍，叫《用Python写网络爬虫》，作者是 Richard Lawson, 李斌翻译，人民邮电出版社出版的书籍（封面如图）。              刚才大概翻了下，个人感觉不太适合纯新手，比较适合有一些Python基础并且对爬虫感兴趣的同学。下面是针对刚才看第一章的两个Python小模块进行的一个尝试，都是书中的内容，仅仅做个笔记。 机器环境：  pytho

下载网页 （重传）     重传功能：如果返回如503等错误吗，可以尝试重传，错误吗可以参考：https://tools.ietf.org/html/rfc7231 import urllib2 def download(url, num_retries=2): print 'Downloading:',url try: html = urllib2.urlo

#coding:utf-8 # 正则能包 import re # 相对链接转换为绝对链接模块 urlparse.urljoin import urlparse # 处理URL import urllib2 import time from datetime import datetime # 解析robots.txt import robotparser # 提供队列操作的模块 impor

## Lxml     Lxml是基于 libxml2 这一 XML 解析哭的Python 封装， 可以将不合法的HTML解析为统一格式。如下面这个例子：lxml正确的解析了属性两侧缺失的引号，并闭合标签。 import lxml.html broken_html = 'AreaPopulation' tree = lxml.html.fromstring(broken_html) fixed