python-urllib简介【urlopen()、urlretrieve()、编解码】

Python urllib 库提供了一个从指定的 URL 地址获取网页数据，然后对其进行分析处理，获取想要的数据。
1、urlopen()

>>> import urllib
>>> sina = urllib.urlopen('http://www.sina.com')
>>> print 'http header:\n',sina.info()
http header:
Content-Type: text/html

Vary: Accept-Encoding

X-Powered-By: shci_v1.03

Server: nginx

Date: Fri, 30 Dec 2016 01:33:53 GMT

Last-Modified: Fri, 30 Dec 2016 01:31:33 GMT

Expires: Fri, 30 Dec 2016 01:34:53 GMT

Cache-Control: max-age=60

Age: 29

Content-Length: 631343

X-Cache: HIT from ctc.gz.1cf2.38.spool.sina.com.cn

Connection: close


>>> print 'http status:',sina.getcode()
http status: 200
>>> print 'url:',sina.geturl()
url: http://www.sina.com.cn/
>>> 

上面主要用到了 urllib 库里的 urlopen() 函数。urlopen 返回一个类文件对象，它提供了如下方法：

• read() , readline() , readlines()，fileno()和close()： 这些方法的使用与文件对象完全一样。
• info()：返回一个httplib.HTTPMessage 对象，表示远程服务器返回的头信息。
• getcode()：返回Http状态码，如果是http请求，200表示请求成功完成;404表示网址未找到。
• geturl()：返回请求的url地址。
  再看一个例子，这个例子把Google首页的html抓取下来并显示在控制台上：

import urllib 

print urllib.urlopen('http://www.google.com').read()

urllib 是 python 自带的一个抓取网页信息一个接口，他最主要的方法是 urlopen()，是基于 python 的 open() 方法的。下面是主要说明：

urllib.urlopen('网址')

这里传入urlopen()的参数有特别说要求，要遵循一些网络协议，比如http,ftp,也就是说，在网址的开头必须要有http://这样的说明，如：urllib.urlopen(‘http://www.baidu.com‘)。要么就是本地文件，本地文件需要使用file关键字，比如 urllib.urlopen(‘file:test.py’)，注意，这里的test.py是指的是当前的classpath所指定的内容，如果对test.py这里有什么疑问那一定是python寻找classpath的顺序不是很清楚了，当然也可以直接写全部路径，urllib.urlopen(‘file:F:\pythontest\test.py’)。
打开 ftp 文件也是可以的，写法 urllib.urlopen(url=’ftp://用户名:密码@ftp地址/’) 等。
示例：

>>> import urllib
>>> f = urllib.urlopen('file:D:\UrlParse.py')
>>> a = f.read()
>>> print a

2、urlretrieve()
urlretrieve() 方法直接将远程数据下载到本地。

>>> help(urllib.urlretrieve)
Help on function urlretrieve in module urllib:

urlretrieve(url, filename=None, reporthook=None, data=None, context=None)

• 参数 finename 指定了保存本地路径（如果参数未指定，urllib会生成一个临时文件保存数据。）
• 参数 reporthook 是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利用这个回调函数来显示当前的下载进度。
• 参数 data 指 post 到服务器的数据，该方法返回一个包含两个元素的(filename, headers)元组，filename 表示保存到本地的路径，header 表示服务器的响应头。
  下面是 urlretrieve() 下载文件实例，可以显示下载进度。

# encoding: UTF-8
import urllib,os
def Schedule(a,b,c):
    '''回调函数
    @a:已经下载的数据块
    @b:数据块的大小
    @c:远程文件的大小
    '''
    per = 100.0 * a * b / c
    if per > 100:
        per = 100
    print '%.2f%%' %per

#url = 'http://www.sina.com'
#local = 'd://sina.html'
url = 'http://www.python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2'

local = os.path.join('d:/installedsoftware','Python-2.7.5.tar.bz2')
urllib.urlretrieve(url,local,Schedule)

通过上面的练习可以知道，urlopen() 可以轻松获取远端 html 页面信息，然后通过 python 正则对所需要的数据进行分析，匹配出想要用的数据，在利用urlretrieve() 将数据下载到本地。对于访问受限或者对连接数有限制的远程 url 地址可以采用 proxies（代理的方式）连接，如果远程数据量过大，单线程下载太慢的话可以采用多线程下载，这个就是传说中的爬虫。
3、编解码
前面介绍了 urllib 模块，以及它常用的 urlopen() 和 urlretrieve()函数的使用介绍。当然 urllib 还有一些其它很有用的辅助方法，比如对 url 进行编码、解码等等。接下来我们再大概介绍一下。

我们知道，url 中是不能出现一些特殊的符号的，有些符号有特殊的用途。比如以 get 方式提交数据的时候，会在 url 中添加 key=value 这样的字符串，所以在 value 中是不允许有 ‘=’，因此要对其进行编码；与此同时服务器接收到这些参数的时候，要进行解码，还原成原始的数据。这个时候，这些辅助方法会很有用：

• urllib.quote(string[, safe])：对字符串进行编码。参数 safe 指定了不需要编码的字符;
• urllib.unquote(string) ：对字符串进行解码；
• urllib.quote_plus(string [ , safe ] ) ：与 urllib.quote 类似，但这个方法用’+’来替换’ ‘，而 quote 用’%20’来代替’ ‘
• urllib.unquote_plus(string ) ：对字符串进行解码；
• urllib.urlencode(query[, doseq])：将dict或者包含两个元素的元组列表转换成url参数。例如 字典{‘name’: ‘dark-bull’, ‘age’: 200}将被转换为”name=dark-bull&age=200”
• urllib.pathname2url(path)：将本地路径转换成 url 路径；
• urllib.url2pathname(path)：将url路径转换成本地路径；
  示例：

# encoding: UTF-8
import urllib,os

data = 'name = ~china*2 '

data1 = urllib.quote(data)

print data1

print urllib.unquote(data1)   

data2 = urllib.quote_plus(data)

print data2 

print urllib.unquote_plus(data2)   

data3 = urllib.urlencode({ 'name': 'libai', 'age': 200 })

print data3 

data4 = urllib.pathname2url(r'd:/a/b/c/23.php')

print data4 

print urllib.url2pathname(data4)    

运行结果：

name%20%3D%20%7Echina%2A2%20
name = ~china*2 
name+%3D+%7Echina%2A2+
name = ~china*2 
age=200&name=libai
///D://a/b/c/23.php
D:\a\b\c\23.php