Python urllib,urllib2包学习笔记_python里urllib2是什么包-优快云博客

本文介绍Python网络爬虫的基础包urllib和urllib2的使用方法，包括urlopen函数的基本应用、发送POST请求、设置请求头等技巧。

urllib,urllib2包是Python自带的包，是使用Python编写网络爬虫的基本包，下面是几个常用方法。

1.urlopen()函数，打开一个网页获取所有的内容，是最简单的urllib2包使用方法，在函数中输入所需网页的地址字符串或request对象，可以用read()读取出来。例如：

import urllib2
response=urllib2.urlopen('http://www.baidu.com')
page=response.read()
print page

2.可将地址创建为一个request对象，之后就如同文件操作一样。上述结果也可这样得到：

import urllib2    
req = urllib2.Request('http://www.baidu.com')    
response = urllib2.urlopen(req)    
page = response.read()    
print page

3.可以发送data表单数据到url，先用urllib包的urlencode函数将data编码成标准形式，再传给request对象，例：

import urllib  
import urllib2  
url = 'http://www.baidu.com'  
values = {'name' : 'cl',  
          'location' : 'sd'}  
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
page = response.read()
print page

4.当遇到站点不接受非人为访问时，可使用header来伪装成浏览器访问，例：

import urllib
import urllib2
url='www.baidu.com'
user_agent='Mozilla/4.0(compatible;MSIE5.5;Windows NT)'
values={'name':'cl',
        'location':'sz'}
headers={'User-Agent':user_agent}
data=urllib.urlencode(values)
req=urllib2.Request(url,data,headers)
response=urllib2.urlopen(req)
tage=response.read()
print tage