python urllib2模块技术参考

Postman插件实战指南:提升API测试效率与自动化水平 API测试是现代软件开发和DevOps流程中的关键环节,它通过验证接口的功能、性能和可靠性,确保系统间通信的正确性。其核心原理在于模拟客户端请求,并对响应进行断言验证,从而保障软件质量。在工程实践中,高效的API测试工具能显著提升开发与测试效率。Postman作为广泛使用的API测试平台,其原生功能虽强,但通过插件生态可进一步扩展能力,覆盖数据生成、复杂断言、报告定制等场景。例如,利用faker.js等插件可自动化生成逼真测试数据,而ajv插件则能通过JSON Schema实现高效的结构化校验,从而构建更可 阅读详情
urllib2是python的一个获取url(Uniform ResourceLocators,统一资源定址器)的模块。它用urlopen函数的形式提供了一个非常简洁的接口。这使得用各种各样的协议获取url成为可能。它同时也提供了一个稍微复杂的接口来处理常见的状况-如基本的认证,cookies,代理,等等。这些都是由叫做opener和handler的对象来处理的。

urlib2支持获取url的多种url 协议(以url中“:”前的字符串区别,如ftp是ftp形式的url协议),用它们关联的网络协议(如HTTP,FTP)。这个教程著重于最普遍的情况--HTTP。

最简单的情况下urlopen用起来非常简单。但随着你打开HTTPur时遇到错误或无意义的事情,你需要对HTTP的一些理解。对HTTP最权威最容易让人理解的参考是RFC2616。这是一个技术文档,而且不太容易读懂。这篇HOWTO意在用足够关于HTTP的细节阐明urllib2,使你明白。它的意图不在替换urllib2 docs,而是对它们的一个补充。

获取url:

以下是获取url最简单的方式:

import urllib2
response = urllib2.urlopen('http://python.org/')
html = response.read()

许多urlib2的使用都是如此简单(注意我们本来也可以用一个以“ftp:”“file:”等开头的url取代“HTTP”开头的url).然而,这篇教程的目的是解释关于HTTP更复杂的情形。

HTTP建基于请求和回应(requests &responses)-客户端制造请求服务器返回回应。urlib2用代表了你正在请求的HTTPrequest的Request对象反映了这些。用它最简单的形式,你建立了一个Request对象来明确指明你想要获取的url。调用urlopen函数对请求的url返回一个respons对象。这个respons是一个像file的对象,这意味着你能用.read()函数操作这个respon对象:

import urllib2

req = urllib2.Request('http://www.voidspace.org.uk')
response = urllib2.urlopen(req)
the_page = response.read()

注意urlib2利用了同样的Request接口来处理所有的url协议。例如,你可以像这样请求一个ftpRequest:

req = urllib2.Request('ftp://example.com/')

对于HTTP,Request对象允许你做两件额外的事:第一,你可以向服务器发送数据。第二,你可以向服务器发送额外的信息(metadata),这些信息可以是关于数据本身的,或者是关于这个请求本身的--这些信息被当作HTTP头发送。让我们依次看一下这些。

数据:

有时你想向一个URL发送数据(通常这些数据是代表一些CGI脚本或者其他的web应用)。对于HTTP,这通常叫做一个Post。当你发送一个你在网上填的form(表单)时,这通常是你的浏览器所做的。并不是所有的Post请求都来自HTML表单,这些数据需要被以标准的方式encode,然后作为一个数据参数传送给Request对象。Encoding是在urlib中完成的,而不是在urlib2中完成的。

import urllib
import urllib2

url = 'http://www.someserver.com/cgi-bin/register.cgi'
values = {'name' : 'Michael Foord',
 
       'location': 'Northampton',
         'language': 'Python' }

data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()

注意有时需要其他的Encoding(例如,对于一个来自表单的文件上传(file upload)--详细内容见HTMLSpecification, Form Submission )。

如果你不传送数据参数,urlib2使用了一个GET请求。一个GET请求和POST请求的不同之处在于POST请求通常具有边界效应:它们以某种方式改变系统的状态。(例如,通过网页设置一条指令运送一英担罐装牛肉到你家。)虽然HTTP标准清楚的说明Post经常产生边界效应,而get从不产生边界效应,但没有什么能阻止一个get请求产生边界效应,或一个Post请求没有任何边界效应。数据也能被url自己加密(Encoding)然后通过一个get请求发送出去。

这通过以下实现:

>>> importurllib2
>>> importurllib
>>> data = {}
>>> data['name'] ='Somebody Here'
>>> data['location'] ='Northampton'
>>> data['language'] ='Python'
>>> url_values =urllib.urlencode(data)
>>> printurl_values
name=Somebody+Here&language=Python&location=Northampton
>>> url ='http://www.example.com/example.cgi'
>>> full_url = url +'?' + url_values
>>> data =urllib2.open(full_url)

注意一个完整的url通过加入 ?产生,?之后跟着的是加密的数据。

头:

我们将会在这里讨论一个特殊的HTTP头,来阐释怎么向你的HTTP请求中加入头。

有一些网站不希望被某些程序浏览或者针对不同的浏览器返回不同的版本。默认情况下,urlib2把自己识别为Python-urllib/x.y(这里的xy是python发行版的主要或次要的版本号,如,Python-urllib/2.5),这些也许会混淆站点,或者完全不工作。浏览器区别自身的方式是通过User-Agent头。当你建立一个Request对象时,你可以加入一个头字典。接下来的这个例子和上面的请求一样,不过它把自己定义为IE的一个版本。

import urllib
import urllib2

url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'Michael Foord',
         'location': 'Northampton',
         'language': 'Python' }
headers = { 'User-Agent' : user_agent }

data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()

Respons同样有两种有用的方法。当我们出差错之后,看一下关于info and geturl的部分。

异常处理:

不能处理一个respons时,urlopen抛出一个urlerror(虽然像平常一样对于pythonAPIs,内建异常如,ValueError, TypeError 等也会被抛出。)

HTTPerror是HTTP URL在特别的情况下被抛出的URLError的一个子类。

urlerror:

通常,urlerror被抛出是因为没有网络连接(没有至特定服务器的连接)或者特定的服务器不存在。在这种情况下,含有reason属性的异常将被抛出,以一种包含错误代码和文本错误信息的tuple形式。

e.g.

>>> req =urllib2.Request('http://www.pretend_server.org')
>>> try:urllib2.urlopen(req)
>>> except URLError,e:
>>>   print e.reason
>>>
(4, 'getaddrinfo failed')

HTTPError:
每个来自服务器的HTTP response包含一个“statuscode”(状态代码)。有时状态代码暗示了服务器不能处理这个请求。默认的句柄将会为你处理一些response(如,如果返回的是一个要求你从一个不同的url获取文件的“重定向”,urlib2将会为你处理)。对于那些它不能处理的,urlopen将会抛出一个HTTPerror。
典型的错误包含404(页面没有找到),403(请求禁止)和401(需要许可)。
所有的HTTP错误代码参见RFC2616的第十部分。

HTTP错误代码将会有一个code(integer)属性,这个code属性的integer值和服务器返回的错误代码是一致的。

错误代码:
因为默认的句柄处理重定向(300序列中的代码)和在100-299之间表示成功的代码,你通常只需要了解在400-599序列中的错误代码。

BaseHTTPServer.BaseHTTPRequestHandler.responses是一个有用的response字典,其中的代码显示了所有RFC2616使用的response代码。

为了方便,代码被复制到了这里:
# Table mapping response codes to messages; entries have the

# form {code: (shortmessage, longmessage)}.

responses = {

    100: ('Continue', 'Requestreceived, please continue'),

    101: ('SwitchingProtocols',

         'Switchingto new protocol; obey Upgrade header'),



    200: ('OK', 'Requestfulfilled, document follows'),

    201: ('Created', 'Documentcreated, URL follows'),

    202: ('Accepted',

         'Requestaccepted, processing continues off-line'),

    203: ('Non-AuthoritativeInformation', 'Request fulfilled from cache'),

    204: ('No Content', 'Requestfulfilled, nothing follows'),

    205: ('Reset Content', 'Clearinput form for further input.'),

    206: ('Partial Content','Partial content follows.'),



    300: ('MultipleChoices',

         'Object hasseveral resources -- see URI list'),

    301: ('Moved Permanently','Object moved permanently -- see URI list'),

    302: ('Found', 'Object movedtemporarily -- see URI list'),

    303: ('See Other', 'Objectmoved -- see Method and URL list'),

    304: ('Not Modified',

         'Documenthas not changed since given time'),

    305: ('Use Proxy',

         'You mustuse proxy specified in Location to access this '

        'resource.'),

    307: ('TemporaryRedirect',

         'Objectmoved temporarily -- see URI list'),



    400: ('Bad Request',

         'Badrequest syntax or unsupported method'),

    401: ('Unauthorized',

         'Nopermission -- see authorization schemes'),

    402: ('PaymentRequired',

         'No payment-- see charging schemes'),

    403: ('Forbidden',

         'Requestforbidden -- authorization will not help'),

    404: ('Not Found', 'Nothingmatches the given URI'),

    405: ('Method NotAllowed',

         'Specifiedmethod is invalid for this server.'),

    406: ('Not Acceptable', 'URInot available in preferred format.'),

    407: ('Proxy AuthenticationRequired', 'You must authenticate with '

         'this proxybefore proceeding.'),

    408: ('Request Timeout','Request timed out; try again later.'),

    409: ('Conflict', 'Requestconflict.'),

    410: ('Gone',

         'URI nolonger exists and has been permanently removed.'),

    411: ('Length Required','Client must specify Content-Length.'),

    412: ('Precondition Failed','Precondition in headers is false.'),

    413: ('Request Entity TooLarge', 'Entity is too large.'),

    414: ('Request-URI Too Long','URI is too long.'),

    415: ('Unsupported MediaType', 'Entity body in unsupported format.'),

    416: ('Requested Range NotSatisfiable',

         'Cannotsatisfy request range.'),

    417: ('ExpectationFailed',

         'Expectcondition could not be satisfied.'),



    500: ('Internal ServerError', 'Server got itself in trouble'),

    501: ('NotImplemented',

         'Serverdoes not support this operation'),

    502: ('Bad Gateway', 'Invalidresponses from another server/proxy.'),

    503: ('ServiceUnavailable',

         'The servercannot process the request due to a high load'),

    504: ('GatewayTimeout',

         'Thegateway server did not receive a timely response'),

    505: ('HTTP Version NotSupported', 'Cannot fulfill request.'),

    }
当一个错误被抛出的时候,服务器返回一个HTTP错误代码和一个错误页。你可以使用返回的HTTP错误示例。这意味着它不但具有code属性,而且同时
具有read,geturl,和info,methods属性。
>>> req =urllib2.Request('http://www.python.org/fish.html')
>>> try:
>>>    urllib2.urlopen(req)
>>> except URLError,e:
>>>    printe.code
>>>    printe.read()
>>>
404
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01Transitional//EN"
   "http://www.w3.org/TR/html4/loose.dtd">
<?xml-stylesheet href="./css/ht2html.css"
   type="text/css"?>
<html><head><title>Error404: File Not Found</title>
...... etc


python urllib2.urlopen的geturl方法
当使用python的urllib2.urlopen()打开一个url时,会产生一个file-like对象,这个对象包含两个方法:
geturl()和info()
其中geturl()在网页地址存在重定向现象时特别有用,这个方法可以得到重定向后的url地址。

>>>importurllib2
>>>url='http://***.com'
>>>u=urllib2.urlopen(url)
>>>redirectUrl=u.geturl()

文章来源:http://blog.sina.com.cn/s/blog_a4e327c201011pfn.html
url请求返回状态码与状态内容 (in python) StatusCode = { 100: ('Continue', 'Request received, please continue'), 101: ('Switching Protocols', 'Switching to new protocol; obey Upgrade header'), 200: ('OK', 'Request fulfilled, document follows'), 201: ('Created', 'Docu 阅读详情

相关推荐

HOPE:基于强化学习的混合策略路径规划器,适用于多样化停车场景

本文提出了一种混合策略路径规划器(HOPE),用于解决自动停车中的路径规划问题。HOPE结合了强化学习(RL)和Reeds-Shepp(RS)曲线,通过动作掩码机制引导RL智能体的探索,并利用Transformer融合环境感知信息与掩码。该方法在多样且复杂的停车场景中实现了超过97%的成功率,并通过真实实验验证了其泛化能力。此外,本文还提出了基于空间与障碍物分布的停车场景难度分级标准,进一步提升了训练与评估的效率。实验结果表明,HOPE在规划成功率和跨场景泛化能力上均优于传统的基于规则算法和朴素强化学习方法

weixin_42783201的博客 1466

Python3使用urllib访问网页

介绍 改教程翻译自python官网的一篇文档。 urllib.request是一个用于访问URL(统一资源定位符)的Python模块。它以urlopen函数的形式提供了一个非常简单的接口,可以访问使用多种不同协议的URL。它也提供了一个稍微复杂一些的接口,用来处理常用的情况——如基本的认证,cookies,代理等等。这些服务由叫做handlers和openers的对象提供。 urllib.requ...

weixin_30662849的博客 365

Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting 论文笔记

Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting 论文笔记-----GCN在交通领域的应用(二) 一、论文翻译: 1、摘要: 及时准确地交通预测对于城市交通控制和指导具有至关重要的意义。由于交通流量的非线性和复杂性,传统的方法不能满足中长期预测任务的需求,并且往往会忽略时空数据的时间和空间依赖特性。在这篇论文中,为了处理在交通领域的时间序列预测问题...

cy_believ的博客 1919

python3 urllib.request抓资源的方式

Python 3.X 要使用urllib.request 来抓取网络资源。 最简单的方式: ? 1 2 3 4 5 6 7 8 #coding=utf-8 import urllib.request response = urllib.request.urlopen('http://p

ReyMiX的博客 5714

解决方案:“Project1.exe”(Win32): 已加载“C:\Windows\SysWOW64\KernelBase.dll”。无法查找或打开 PDB 文件。

解决方案:“Project1.exe”(Win32): 已加载“C:\Windows\SysWOW64\KernelBase.dll”。无法查找或打开 PDB 文件。 添加getchar();代码块解决无法查找或打开PDB文件。 错误提示: “Project1.exe”(Win32): 已加载“C:\Windows\SysWOW64\ntdll.dll”。无法查找或打开 PDB 文件。 “Pro...

m0_46523403的博客 6422

【脑电分析系列】第15篇:脑电功能连接性与脑网络分析(二):Granger因果性、图论指标与复杂网络构建

摘要: 本文深入探讨了脑电(EEG)分析中的高阶连接性方法——有效连接(Effective Connectivity),重点介绍了Granger因果性(Granger Causality, GC)的原理与应用。GC通过统计预测揭示脑区间信息流动方向,超越了传统功能连接的同步性分析。文章还结合图论指标(如度、路径长度、聚类系数和模块化)量化脑网络的拓扑结构,并通过Python代码(MNE和NetworkX库)演示了从EEG数据构建、分析复杂脑网络的完整流程。该研究为理解大脑动态互动、认知任务信息流及神经系统疾

qq_32516809的博客 1571

python爬虫urllib模块详解

关于urllib模块的详细解释,包括且不限于访问、异常处理解析、URL拆分拼接等方法。值得参考的学习笔记。

侯小啾技术博客 5726

[特殊字符] 智能补货(AI-driven Replenishment)完整实施方案

补货量=预测需求+安全库存−当前库存补货量 = 预测需求 + 安全库存 - 当前库存补货量=预测需求+安全库存−当前库存。:基于 LSTM/Transformer 预测未来 30/60/90 天的销量。

nbsaas-boot基于Request-Response的企业级快速开发框架 969

python——urllib模块

1. 简述 这里说的urllib模块,是urllib*模块,包括了urllib、urllib2和urllib3等几个。urllib和urllib2都是属于python的基础库,类似于java中官方jdk提供的库,在http://docs.python.org/2/library/internet.html可以看到相关介绍,他们都属于Internet协议和相关支撑的模块部分;除了这两个,其实还有第

2万+

【2025CSPJ普及组】T4. 多边形

【2025CSPJ普及组】T4. 多边形【题目描述】小 R 喜欢玩小木棍。小 R 有 n 根小木棍,第i(1≤i≤n) 根小木棍的长度为 ai。

lybc2019的博客 850

SAP Single Sign-On 全景指南:从传统 SAP SSO 到 SAP Secure Login Service for SAP GUI 的架构、场景与迁移实践

本文系统梳理了SAP生态下的单点登录技术方案,重点分析了SAP GUI的云化替代方案SAP Secure Login Service(SLS)。内容涵盖SNC、Kerberos/SPNEGO、SAML 2.0等核心协议的技术实现,对比了传统SAP SSO与新型SLS for SAP GUI的架构差异,并给出AS ABAP系统的具体实施路径。针对SAP GUI访问、浏览器访问Fiori/移动端等不同场景,提供了详细的协议选型建议和配置指南,帮助团队构建安全可靠且适应云时代的统一认证体系。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 274

urllib,urllib2,urllib3区别

参考链接: https://zhuanlan.zhihu.com/p/53689373 https://blog.youkuaiyun.com/IMW_MG/article/details/78555375 https://zhuanlan.zhihu.com/p/30801463 python3中也有urllib和urllib3两个库,其中urllib几乎是python2.7中urllib和u...

优雅的黑博客 3977

YOLO11改进-注意力-引入多尺度注意力聚合(MSAA)模块

对来自backbone的特征进行细化处理。通过空间和通道两个路径的操作,增强了空间和通道方面的特征信息,使得输出的特征图在空间和通道维度上都更加优质。1. 在空间细化路径中,通过对不同核大小的卷积进行求和以及一系列的空间特征聚合操作,实现了多尺度空间信息的融合。2. 在通道聚合路径中,通过全局平均池化、卷积和激活等操作生成通道注意力图,并与空间细化后的图相结合,实现了通道维度上的多尺度信息融合。

qq_64693987的博客 4680

python中urllib.request_Python中的urllib.request模块

因为在玩Python challenge的时候,有用过这个模块,而且学习这个模块之后也对系统学习网络爬虫有用。当时查了各种资料学习,没有碰官网文档(因为还是对英语有抗拒性),但是还是官方的文档最具权威和学习价值,因此想要此次翻译官方文档的同时,锻炼自己的英语能力,也对urllib模块加深理解。因为是为了自己复习起来方便~所以就不一句英语一句中文的对照着翻了,有兴趣看原版的,自己点官方文档吧~翻译不...

weixin_29214335的博客 3922

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Python之urllib爬虫-request模块和parse模块详解

urllib是Python中用来处理URL的工具包,本文利用该工具包进行爬虫开发讲解,毕竟爬虫应用开发在Web互联网数据采集中十分重要。

有一分热,发一分光。 8596

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Python中urllib.request模块及和requests的使用区别

一、Python 3.x版本后的urllib和urllib2 在Python 3以后的版本中,urllib2这个模块已经不单独存在,urllib2被合并到了urllib中,叫做urllib.request 和 urllib.error urllib整个模块分为urllib.request,urllib.parse,urllib.error。 例: 其中urllib2...

夜神丶月L 8694

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

urllib与urllib2的学习总结(python2.7.X)

  先啰嗦一句,我使用的版本是python2.7,没有使用3.X的原因是我觉得2.7的扩展比较多,且较之前的版本变化不大,使用顺手。3.X简直就是革命性的变化,用的蹩手。3.x的版本urllib与ur

hong2511的博客 5637

【python】python2和python3中urllib、urllib2、urllib3的区别

一、问题引入 菜鸟学爬虫得用urllib,参考一个大神写的文章,主要用的是python2.7,而我用的python3,这就尴尬了,在python3中,没有urllib2这个库,统一为urllib。 例如大神的例子如下: import urllib2 response = urllib2.urlopen("http://www.baidu.com") pr...

qq_35768238的博客 793

urllib库在python2与python3中的区别

python2与python3中会有一些语法的不同。python3是python2的升级版,在python2中,有urllib库与urllib2库,但是在python3中,都合并到urllib库中。此篇博客主要介绍了python2与python3在urllib库使用时的不同

moll_77的博客 6717

Python3中的urllib.request模块

Python 3.x版本后的urllib和urllib2 现在的Python已经出到了3.5.2 在Python 3以后的版本中,urllib2这个模块已经不单独存在(也就是说当你import urllib2时,系统提示你没这个模块),urllib2被合并到了urllib中,叫做urllib.request 和 urllib.error 。 urllib整个模块分为urllib.request, ...

绿色羽毛 1402

Python爬虫核心模块urllib的学习

分享一份Python的学习资料,但由于篇幅有限,完整文档可以扫码免费领取!!!1)Python所有方向的学习路线(新版)总结的Python爬虫和数据分析等各个方向应该学习的技术栈。比如说爬虫这一块,很多人以为学了xpath和PyQuery等几个解析库之后就精通的python爬虫,其实路还有很长,比如说移动端爬虫和JS逆向等等。(2)Python学习视频。

javasdn的博客 874

python的requests模块功能_python - urllib,urllib2和requests模块之间有什么区别?

python - urllib,urllib2和requests模块之间有什么区别?在Python中,requests,urllib2和requests模块之间有什么区别? 为什么有三个? 他们似乎做同样的事情......9个解决方案568 votes我知道它已经说过,但我强烈推荐Requests python包:[http://docs.python-requests.org/en/late...

weixin_39826809的博客 297

详解:Python2中的urllib、urllib2与Python3中的urllib以及第三方模块requests

先说说Python2中的url与urllib2(参考此处): urllib和urllib2都是接受URL请求的相关模块,但是提供了不同的功能。两个最显著的不同如下: 1、urllib2可以接受一个Request类的实例来设置URL请求的headers,例如: req = urllib2.Request( url=url, data=post

夜夜夜夜 8万+

Python:urllib2模块的URLError与HTTPError

urllib2 的异常错误处理 在我们用urlopen或opener.open方法发出一个请求时,如果urlopen或opener.open不能处理这个response,就产生错误。 这里主要说的是URLError和HTTPError,以及对它们的错误处理。 URLError URLError 产生的原因主要有: 没有网络连接 服务器连接失败 找不到指定的服务器 我们可以用tr...

Lansonli(蓝深李)的博客 1284
上一篇: 明天,你好
下一篇: wxPyhon编程应用之HostEditor V1.0
Jsphp
博客等级 码龄15年 1粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值