1. urlopen 抓取网页的url
import urllib
print urllib.urlopen('http://www.geogle.com').read()
urllib.urlopen(url[,data[,proxies]]) //url: 远程数据地址, data:post提交的表单,提交表单数据有post,get两种方法, proxies: 设置代理
//返回一个类文件对象
1.read(),readline(),readlines(),fileno(),close()
2.info():返回 httplib,HTTPMessage 对象,表示远程服务器返回的头信息
3.getcode():返回http状态码,200成功,404未找到
4.geturl():返回请求的url
=================================================================================
2. urlretrieve 下载定位到的 html 文件
import urllib
filename = urllib.urlretrieve('http://www.geogle.com.nk/',filename='......')
type filename
file[0]
file[1]
urllib.urlretrieve(url[,filename[,reporthook[,data]]]) //url:
1.filename:下载地址,若省略则存为临时文件
2.reporthook:一个回调函数,设计于显示下载进度
3.data:
//返回一个元祖(filename,headers)
1.filename:
2.headers:服务器响应头
==================================================================================
3.urlencode 完成 post和get 方法
params = urllib,urlencode(data={:,:,:})
urllib.urlencode(query[,doseq]) //将 dict 或 2个元素的元素列表转换成url参数, 键值对用&链接
GET方法:
f = urllib.urlopen("http://python.org/query?%s"%params)
f.read()
POST方法:
f = urllib.urlopen("http://python.org/query",params)
f.read()
import urllib
print urllib.urlopen('http://www.geogle.com').read()
urllib.urlopen(url[,data[,proxies]]) //url: 远程数据地址, data:post提交的表单,提交表单数据有post,get两种方法, proxies: 设置代理
//返回一个类文件对象
1.read(),readline(),readlines(),fileno(),close()
2.info():返回 httplib,HTTPMessage 对象,表示远程服务器返回的头信息
3.getcode():返回http状态码,200成功,404未找到
4.geturl():返回请求的url
=================================================================================
2. urlretrieve 下载定位到的 html 文件
import urllib
filename = urllib.urlretrieve('http://www.geogle.com.nk/',filename='......')
type filename
file[0]
file[1]
urllib.urlretrieve(url[,filename[,reporthook[,data]]]) //url:
1.filename:下载地址,若省略则存为临时文件
2.reporthook:一个回调函数,设计于显示下载进度
3.data:
//返回一个元祖(filename,headers)
1.filename:
2.headers:服务器响应头
==================================================================================
3.urlencode 完成 post和get 方法
params = urllib,urlencode(data={:,:,:})
urllib.urlencode(query[,doseq]) //将 dict 或 2个元素的元素列表转换成url参数, 键值对用&链接
GET方法:
f = urllib.urlopen("http://python.org/query?%s"%params)
f.read()
POST方法:
f = urllib.urlopen("http://python.org/query",params)
f.read()