urllib 模块基本应用

1. urlopen 抓取网页的url
import urllib
print urllib.urlopen('http://www.geogle.com').read()

urllib.urlopen(url[,data[,proxies]]) //url: 远程数据地址,    data:post提交的表单,提交表单数据有post,get两种方法,    proxies: 设置代理
                                     //返回一个类文件对象
                                     1.read(),readline(),readlines(),fileno(),close()
                                     2.info():返回 httplib,HTTPMessage 对象,表示远程服务器返回的头信息
                                     3.getcode():返回http状态码,200成功,404未找到
                                     4.geturl():返回请求的url
=================================================================================
2. urlretrieve 下载定位到的 html 文件
import urllib
filename = urllib.urlretrieve('http://www.geogle.com.nk/',filename='......')
type filename
file[0]
file[1]

urllib.urlretrieve(url[,filename[,reporthook[,data]]]) //url:
                                                       1.filename:下载地址,若省略则存为临时文件
                                                       2.reporthook:一个回调函数,设计于显示下载进度
                                                       3.data:
                                                       //返回一个元祖(filename,headers)
                                                       1.filename:
                                                       2.headers:服务器响应头
==================================================================================
3.urlencode 完成 post和get 方法
params = urllib,urlencode(data={:,:,:})
urllib.urlencode(query[,doseq]) //将 dict 或 2个元素的元素列表转换成url参数, 键值对用&链接

GET方法:
f = urllib.urlopen("http://python.org/query?%s"%params)
f.read()
POST方法:
f = urllib.urlopen("http://python.org/query",params)
f.read()

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值