利用Python抓取和解析网页(上)

对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说，经常用到对网页(即HTML文件)的解析处理。事实上，通过Python语言提供的各种模块，我们无需借助Web服务器 或 者Web浏览器就能够解析和处理HTML文档。本文将详细介绍如何利用Python抓取和解析网页。首先，我们介绍一个可以帮助简化打开位于本地和Web 上的HTML文档的Python模块，然后，我们论述如何使用Python模块来迅速解析在HTML文件中的数据，从而处理特定的内容，如链接、图像和 Cookie等。最后，我们会给出一个规整HTML文件的格式标签的例子，通过这个例子您会发现使用python处理HTML文件的内容是非常简单的一件 事情。

　　一、解析URL

　　通过Python所带的urlparse模块，我们能够轻松地把URL分解成元件，之后，还能将这些元件重新组装成一个URL。当我们处理HTML 文档的时候，这项功能是非常方便的。

　　 import urlparse

　　parsedTuple = urlparse.urlparse(

　　 " http://www.google.com/search?

　　hl = en & q = urlparse & btnG = Google + Search " )

　　unparsedURL = urlparse.urlunparse((URLscheme, /

　　URLlocation, URLpath, '' , '' , '' ))

　　newURL = urlparse.urljoin(unparsedURL,

　　 " /module-urllib2/request-objects.html " )

　 　函数urlparse(urlstring [, default_scheme [, allow_fragments]])的作用是将URL分解成不同的组成部分，它从urlstring中取得URL，并返回元组 (scheme, netloc, path, parameters, query, fragment)。注意，返回的这个元组非常有用，例如可以用来确定网络 协议(HTTP、FTP等等 )、服务器 地址、文件路径，等等。

　 　函数urlunparse(tuple)的作用是将URL的组件装配成一个URL，它接收元组(scheme, netloc, path, parameters, query, fragment)后，会重新组成一个具有正确格式的URL，以便供Python的其他HTML解析模块使用。

　 　函数urljoin(base, url [, allow_fragments]) 的作用是拼接URL，它以第一个参数作为其基地址，然后与第二个参数中的相对地址相结合组成一个绝对URL地址。函数urljoin在通过为URL基地址 附加新的文件名的方式来处理同一位置处的若干文件的时候格外有用。需要注意的是，如果基地址并非以字符/结尾的话，那么URL基地址最右边部分就会被这个 相对路径所替换。比如，URL的基地址为Http://www.testpage.com/pub，URL的相对地址为test.html，那么两者将合 并成http://www.testpage.com/test.html，而非http://www.testpage.com/pub /test.html。如果希望在该路径中保留末端目录，应确保URL基地址以字符/结尾。

　　下面是上面几个函数的详细一点的用法举例：

　　 import urlparse

　　URLscheme = " http "

　　URLlocation = " www.python.org "

　　URLpath = " lib/module-urlparse.html "

　　modList = ( " urllib " , " urllib2 " , /

　　 " httplib " , " cgilib " )

　　 # 将地址解析成组件

　　 print " 用Google搜索python时地址栏中URL的解析结果 "

　　parsedTuple = urlparse.urlparse(

　　 " http://www.google.com/search?

　　hl = en & q = python & btnG = Google + Search " )

　　 print parsedTuple

　　 # 将组件反解析成URL

　　 print " /反解析python文档页面的URL "

　　unparsedURL = urlparse.urlunparse( /

　　(URLscheme, URLlocation, URLpath, '' , '' , '' ))

　　 print " /t " + unparsedURL

　　 # 将路径和新文件组成一个新的URL

　　 print " /n利用拼接方式添加更多python文档页面的URL "

　　 for mod in modList:

　　newURL = urlparse.urljoin(unparsedURL, /

　　 " module-%s.html " % (mod))

　　 print " /t " + newURL

　　 # 通过为路径添加一个子路径来组成一个新的URL

　　 print " /n通过拼接子路径来生成Python文档页面的URL "

　　newURL = urlparse.urljoin(unparsedURL,

　　 " module-urllib2/request-objects.html " )

　　 print " /t " + newURL

　　上述代码的执行结果如下所示：

　　用Google搜索python时地址栏中URL的解析结果

　　( ' http ' , ' www.google.com ' , ' /search ' , '' ,

　　 ' hl=en&q=python&btnG=Google+Search ' , '' )

　　反解析python文档页面的URL

　　http: // www.python.org / lib / module - urlparse.html

　　利用拼接方式添加更多python文档页面的URL

　　http: // www.python.org / lib / module - urllib.html

　　http: // www.python.org / lib / module - urllib2.html

　　http: // www.python.org / lib / module - httplib.html

　　http: // www.python.org / lib / module - cgilib.html

　　通过拼接子路径来生成Python文档页面的URL

　　http: // www.python.org / lib / module - urllib2 / request - objects.html