Python常用标准库 --- urllib与urllib2

最新推荐文章于 2023-08-02 07:00:00 发布
最新推荐文章于 2023-08-02 07:00:00 发布
阅读量885 收藏 1
点赞数
分类专栏： python

转自：http://lizhenliang.blog.51cto.com/7876557/1872538


打开URL。urllib2是urllib的增强版，新增了一些功能，比如Request()用来修改Header信息。但是urllib2还去掉了一些好用的方法，比如urlencode()编码序列中的两个元素（元组或字典）为URL查询字符串。

一般情况下这两个库结合着用，那我们也结合着了解下。

类

描述

urllib.urlopen(url, data=None, proxies=None) 读取指定URL，创建类文件对象。data是随着URL提交的数据（POST）
urllib/urllib2.quote(s, safe='/')

将字符串中的特殊符号转十六进制表示。如：

quote('abc def') -> 'abc%20def'

urllib/urllib2.unquote(s) 与quote相反
urllib.urlencode(query, doseq=0) 将序列中的两个元素（元组或字典）转换为URL查询字符串
urllib.urlretrieve(url, filename=None, reporthook=None, data=None) 将返回结果保存到文件，filename是文件名
urllib2.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False)

一般访问URL用urllib.urlopen()，如果要修改header信息就会用到这个。

data是随着URL提交的数据，将会把HTTP请求GET改为POST。headers是一个字典，包含提交头的键值对应内容。

urllib2.urlopen(url, data=None, timeout=<object object>) timeout 超时时间，单位秒
urllib2.build_opener(*handlers) 构造opener
urllib2.install_opener(opener) 把新构造的opener安装到默认的opener中，以后urlopen()会自动调用
urllib2.HTTPCookieProcessor(cookiejar=None) Cookie处理器
urllib2.HTTPBasicAuthHandler 认证处理器
urllib2.ProxyHandler 代理处理器

urllib.urlopen()有几个常用的方法：

方法 描述
getcode() 获取HTTP状态码
geturl() 返回真实URL。有可能URL3xx跳转，那么这个将获得跳转后的URL
info() 返回服务器返回的header信息。可以通过它的方法获取相关值
next() 获取下一行，没有数据抛出异常
read(size=-1) 默认读取所有内容。size正整数指定读取多少字节
readline(size=-1) 默认读取下一行。size正整数指定读取多少字节
readlines(sizehint=0) 默认读取所有内容，以列表形式返回。sizehint正整数指定读取多少字节

示例：

1）请求URL

>>> import urllib, urllib2
>>> response = urllib.urlopen("http://www.baidu.com")   # 获取的网站页面源码
>>> response.readline()
'<!DOCTYPE html>\n'
>>> response.getcode()
200
>>> response.geturl()
'http://www.baidu.com'

2）伪装chrome浏览器访问

>>> user_agent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36"
>>> header = {"User-Agent": user_agent}
>>> request = urllib2.Request("http://www.baidu.com", headers=header) # 也可以通过request.add_header('User-Agent', 'Mozilla...')方式添加    
>>> response = urllib2.urlopen(request)
>>> response.geturl()
'https://www.baidu.com/'
>>> print respose.info()  # 查看服务器返回的header信息
Server: bfe/1.0.8.18
Date: Sat, 12 Nov 2016 06:34:54 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: close
Vary: Accept-Encoding
Set-Cookie: BAIDUID=5979A74F742651531360C08F3BE06754:FG=1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
Set-Cookie: BIDUPSID=5979A74F742651531360C08F3BE06754; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
Set-Cookie: PSTM=1478932494; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
Set-Cookie: BDSVRTM=0; path=/
Set-Cookie: BD_HOME=0; path=/
Set-Cookie: H_PS_PSSID=1426_18240_17945_21118_17001_21454_21408_21394_21377_21525_21192; path=/; domain=.baidu.com
P3P: CP=" OTI DSP COR IVA OUR IND COM "
Cache-Control: private
Cxy_all: baidu+a24af77d41154f5fc0d314a73fd4c48f
Expires: Sat, 12 Nov 2016 06:34:17 GMT
X-Powered-By: HPHP
X-UA-Compatible: IE=Edge,chrome=1
Strict-Transport-Security: max-age=604800
BDPAGETYPE: 1
BDQID: 0xf51e0c970000d938
BDUSERID: 0
Set-Cookie: __bsi=12824513216883597638_00_24_N_N_3_0303_C02F_N_N_N_0; expires=Sat, 12-Nov-16 06:34:59 GMT; domain=www.baidu.com; path=/

这里header只加了一个User-Agent，防止服务器当做爬虫屏蔽了，有时为了对付防盗链也会加Referer，说明是本站过来的请求。还有跟踪用户的cookie。

3）提交用户表单

>>> post_data = {"loginform-username":"test","loginform-password":"123456"}
>>> response = urllib2.urlopen("http://home.51cto.com/index", data=(urllib.urlencode(post_data)))
>>> response.read() # 登录后网页内容

提交用户名和密码表单登录到51cto网站，键是表单元素的id。其中用到了urlencode()方法，上面讲过是用于转为字典格式为URL接受的编码格式。

例如：

>>> urllib.urlencode(post_data)
'loginform-password=123456&loginform-username=test'


4）保存cookie到变量中 

#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib, urllib2
import cookielib
# 实例化CookieJar对象来保存cookie
cookie = cookielib.CookieJar()
# 创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
# 通过handler构造opener
opener = urllib2.build_opener(handler)
response = opener.open("http://www.baidu.com")
for item in cookie:
    print item.name, item.value
     
# python test.py
BAIDUID EB4BF619C95630EFD619B99C596744B0:FG=1
BIDUPSID EB4BF619C95630EFD619B99C596744B0
H_PS_PSSID 1437_20795_21099_21455_21408_21395_21377_21526_21190_21306
PSTM 1478936429
BDSVRTM 0
BD_HOME 0

urlopen()本身就是一个opener，无法满足对Cookie处理，所有就要新构造一个opener。

这里用到了cookielib库，cookielib库是一个可存储cookie的对象。CookieJar类来捕获cookie。

cookie存储在客户端，用来跟踪浏览器用户身份的会话技术。

5）保存cookie到文件

#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib, urllib2
import cookielib
cookie_file = 'cookie.txt'
# 保存cookie到文件
cookie = cookielib.MozillaCookieJar(cookie_file)
# 创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
# 通过handler构造opener
opener = urllib2.build_opener(handler)
response = opener.open("http://www.baidu.com")
# 保存
cookie.save(ignore_discard=True, ignore_expires=True)  # ignore_discard默认是false，不保存将被丢失的。ignore_expires默认flase，如果cookie存在，则不写入。
 
# python test.py
# cat cookie.txt
 
# Netscape HTTP Cookie File
# http://curl.haxx.se/rfc/cookie_spec.html
# This is a generated file!  Do not edit.
.baidu.com    TRUE    /    FALSE    3626420835    BAIDUID    687544519EA906BD0DE5AE02FB25A5B3:FG=1
.baidu.com    TRUE    /    FALSE    3626420835    BIDUPSID    687544519EA906BD0DE5AE02FB25A5B3
.baidu.com    TRUE    /    FALSE        H_PS_PSSID    1420_21450_21097_18560_21455_21408_21395_21377_21526_21192_20927
.baidu.com    TRUE    /    FALSE    3626420835    PSTM    1478937189
www.baidu.com    FALSE    /    FALSE        BDSVRTM    0
www.baidu.com    FALSE    /    FALSE        BD_HOME    0

MozillaCookieJar()这个类用来保存cookie到文件。


6）使用cookie访问URL

#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib2
import cookielib
# 实例化对象
cookie = cookielib.MozillaCookieJar()
# 从文件中读取cookie
cookie.load("cookie.txt", ignore_discard=True, ignore_expires=True)
# 创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
# 通过handler构造opener
opener = urllib2.build_opener(handler)
# request = urllib2.Request("http://www.baidu.com")
response = opener.open("http://www.baidu.com")

7）使用代理服务器访问URL

import urllib2
proxy_address = {"http": "http://218.17.252.34:3128"}
handler = urllib2.ProxyHandler(proxy_address)
opener = urllib2.build_opener(handler)
response = opener.open("http://www.baidu.com")
print response.read()

8）URL访问认证

import urllib2
auth = urllib2.HTTPBasicAuthHandler()
# (realm, uri, user, passwd)
auth.add_password(None, 'http://www.example.com','user','123456')
opener = urllib2.build_opener(auth)
response = opener.open('http://www.example.com/test.html')














Python常用模块 之 urllib&&urllib3 【爬虫库】
孤寒者的博客
09-15 10万+
Python常用模块 之 urllib&&urllib3 【爬虫库】
Python3标准库——urllib
a21700790yan的博客
12-17 855
0X01；urllib作用是什么？ 　　urllib是Python3的一个内置标准库，主要用来进行http请求。其中主要包含四个常见模块。分别是：request，error，parse，robotparser。request模块功能提供一个基本的请求功能，来模拟http请求。error异常处理模块，主要功能是在出现错误的时候可以捕获异常。parse工具模块，提供了URL处理的方法，比如：拆分，解...
Python 标准库 urllib2 的使用细节
weixin_34304013的博客
11-05 269
Python 标准库中有很多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 库的使用细节。 1 Proxy 的设置 2 Timeout 设置 3 在 HTTP Request 中加入特定的 Header 4 Redi...
pythonurllib标准_Python3---标准库---urllib
weixin_42311972的博客
12-24 225
前言该文章主要说明Python3 标准库urllib的使用。修改时间：20191216修改时间：20191217修改时间：20191218添加urllib.parse.urlencode,urllib.request.Request方法解释天象独行0X01；urllib作用是什么？urllib是Python3的一个内置标准库，主要用来进行http请求。其中主要包含四个常见模块。分别是：reques...
标准库：urllib/urllib2
04-24 935
1. 对Python标准库的一个大致认识 2. Python urllib模块与urlopen()函数解析 3. urllib urlopen()对象方法/代理的补充说明 4. Python urllib的urlretrieve()函数解析 5. Python urllib模块的URL编码解码功能 6. Python库里urllib和urllib2的区别 7. urll
Python标准库urllib2的一些使用细节总结
09-22
Python标准库urllib2是处理HTTP请求的重要工具，它提供了丰富的功能来实现网络通信。以下是对urllib2一些关键使用细节的深入解析： 1. **Proxy的设置**：当你需要通过代理服务器访问互联网时，urllib2允许你自定义...
python-urllib3-openkylin-yangtze
最新发布
11-20
与Python标准库中的urllib相比，urllib3提供了许多额外的功能和改进，例如线程安全的连接池、支持持续连接、多种认证协议、直接支持IPv6、提供低级请求方法等。它广泛用于Python的高级网络应用，包括但不限于复杂的...
Python3.7.2中文文档-标准库-合集
02-15
Python标准库是Python编程语言的核心组成部分，它包含了大量预装的模块和包，覆盖了各种功能，如网络通信、文件操作、数据结构、操作系统接口、加密、国际化等。这些模块由Python的开发团队维护，确保与Python解释器...
用yum怎么下载python-setuptools python-imaging python-ldap MySQL-python python-memcached python-urllib
07-19
在CentOS或RHEL等基于YUM的Linux发行...由于Python标准库已经包含了`urllib`模块，如果你需要确认它的状态，可以这样做： ``` python3 -c "import urllib; print(urllib.__name__)" ``` 如果已经安装，则无需额外安装。
Python中urllib和urllib2库的使用
weixin_45414731的博客
09-24 1659
文章目录urllib和urllib2库的基本使用urlopenRequestUser-Agent添加更多的Header信息URL编码转换urllib和urllib2的高级用法Handler处理器 和 自定义Opener简单的自定义opener()ProxyHandler处理器（代理设置）CookieCookie属性Cookie应用cookielib库 和 HTTPCookieProcessor处理...
python urllib2模块_Python中urllib2模块的8个使用细节分享
weixin_39636176的博客
12-03 152
Python 标准库中有很多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 库的使用细节。1 Proxy 的设置urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy，而不受环境变量的影响，可以使用下面的方式import urll...
python中urllib 和urllib2之间的联系
上善若水
04-14 178
      刚看到urllib和urllib2时，我觉得urllib2应该是urllib的升级版，可是在同一个方法中，却同时import了这两个框架，并且，使用了各自的接口。顿时感到非常莫名其妙。经过查阅资料发现urllib和urllib2并没什么联系，是两个独立的框架，不能相互取代。       urllib 和urllib2都是接受URL请求的相关模块，但是提供了不同的功能。两个最显著的...
python3 标准库 urllib.request
blldxt的专栏
06-18 2219
urllib.request 模块包含一系列的函数和类应用，这些应用程序可以帮我们在复杂的环境中打开一些链接和网址（URL）（大部分是 http）操作的类型包括 基本的链接、摘要认证、url重定向、cookies 等。 urllib.request模块定义了以下功能： urllib.request.urlopen( url, data=None, [timeout, ]*, cafil
pyhton爬虫urllib常用库函数
weixin_45485072的博客
05-08 255
下面以百度首页为例,介绍python自带的request库 urllib库中几个函数 from urllib import request from urllib import parse resp= request.urlopen("http://www.baidu.com") **#urlopen抓取网站上所有源代码 ''按住ctrl+b 与鼠标点击可迅速得到函数原型，返回文件句柄对象** ...
python爬虫(四)_urllib2库的基本使用
javasdn的博客
08-02 1360
本篇我们将开始学习如何进行网页抓取，更多内容请参考:python学习指南。
python3urllib常见使用_Python3 urllib库常用方法
weixin_39859819的博客
11-30 134
'''GET请求方式POST请求方式超时timeout,异常处理响应类型(响应码,响应头...)POST请求添加Headers代理方法cookie添加 读取---------- parse 包下 -----------urlparse 解析网址urlunparse 拼接网址urlencode GET参数化(比较有用)'''import urllib.requestimport urllib.par...
urllib库
qq_43713303的博客
01-27 1556
urllib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。 urlopen函数： 在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了，以先来看下urlopen函数基本的使用： from urllib import request resp = request.urlopen('http://www.baidu.com') print(resp.read())
Urllib库在python2.x与3.x中的区别和联系
chen1540524015的博客
06-25 1233
urllib库是python提供的一个用于操作URL的模块，在python2中有urllib和urllib2，在python3中urllib2合并到urllib中，区别和联系如下：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值