关于urllib2.open的正确使用方式

最新推荐文章于 2024-06-12 17:58:14 发布

原创最新推荐文章于 2024-06-12 17:58:14 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #网络

python 专栏收录该内容

3 篇文章

订阅专栏

本文探讨了在项目开发中使用松耦合HTTP JSON接口时遇到的超时问题，通过设置urllib2.urlopen的超时参数解决实际业务需求，确保关键任务如短信发送在指定时间内完成。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为了开发起来方便，项目中大量使用了松耦合的http json接口方式

今天突然发现上线系统8点该发的短信，10点才发出来的情况

细细排查，发现竟然是urllib2.open搞的鬼，可能由于网络不稳定，连接一次接口竟然花费了2个小时，然后进入了except中报错

其实改进很简单

urllib2.urlopen(mobileUrl,timeout=60)

mobileUrl为要访问的接口 60为超时时间设置，单位为s

如果想进一步对超时后的情况进行处理，可以在except中捕获对应的日志，然后在日志中查找对应的关键字，如果是timeout，然后怎么做

这部分就只提供思路了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

killermyth

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python爬虫入门系列——Urllib详解

m0_47706863的博客

09-21

993

Python爬虫入门系列——Urllib详解1.背景1.1 初识爬虫1.2 合法性1.3 robots协议2.要求2.1 当前开发环境2.2 编程基础3.快速上手Urllib3.1 request模块3.2Error 模块3.3Parse 模块4.高级应用**4.1 Opener**4.2 代理设置4.3 Cookie 1.背景 1.1 初识爬虫网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本，其本质是模拟浏览器打开网页，获取网页中我们想要的数据。常用的百度、谷歌的搜索引擎也是一个爬虫，把互

Python3 模块1之 Urllib之 urllib.request

独化蓝翅鸟，越岭万昆仑

01-24

3220

什么是 Urllib 库？ urllib 库是 Python 内置的 HTTP 请求库。urllib 模块提供的上层接口，使访问 www 和 ftp 上的数据就像访问本地文件一样。有以下几种模块： 1.urllib.request 请求模块 2. urllib.error 异常处理模块 3. urllib.parse url 解析模块 4. urllib.robotp

参与评论您还未登录，请先登录后发表或查看评论

[Python系列实用教程]一、Python如何使用urllib2获取网络资源

我的程序世界

03-27

1万+

urllib2.open(req).read() 报403的错误：怎么办？

weixin_30585437的博客

07-15

410

http://www.douban.com/group/topic/18095751/ heads = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Charset':'GB2312,utf-8;q=0.7,*;q=0.7','Accept-Language':'z...

爬虫之urllib2库的自定义Opener

lixinkuan的博客

02-13

600

Handler处理器和自定义Opener opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能：使用相关的Handler处理器来创建特定功能的处...

python实现简单爬虫百度首页_用Python实现一个简单的爬虫

weixin_40005437的博客

11-24

462

Urllib 库的基本使用分分钟扒一个网页下来怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段 HTML 代码，加 JS、CSS，如果把网页比作一个人，那么 HTML 便是他的骨架，JS 便是他的肌肉，CSS 便是它的衣服。所以最重要的部分是存在于 HTML 中的，下面我们就写个例子来扒一个网页下来。i...

githack报错urllib2.URLError:

最新发布

03-17

### 解决 Githack 中 `urllib2.URLError` 错误的方法当遇到类似于 `urllib.error.URLError: urlopen error [SSL: CERTIFICATE_VERIFY_FAILED]` 的错误时，这通常表明 SSL 验证失败或者网络连接存在问题[^1]。以下...

python使用urllib2提交http post请求的方法

09-22

使用`urllib2.Request`创建一个Request对象，它包含了将要发送的URL。在这个例子中，我们只传递了URL，没有设置HTTP方法（默认是GET），所以需要在后续步骤中设置。 4. **编码数据**： `urllib.urlencode`函数...

python urllib2中文乱码怎么解决

hakesashou的博客

06-12

1213

问题到这里就解决了，可是对于不能直接使用简洁的 zlib 库表示很不甘心，毕竟根据 python 的文档 gzip 库也是调用 zlib 来解压的，为什么不直接用 zlib 呢？另一个造成乱码的原因是压缩格式，很多规模较大的网站都是以gzip的压缩格式输出页面的，所以在用BS解析之前需要先判断该网页是否经过压缩，如果经过压缩则先进行解压操作。很多乱码问题是编码造成的，一般对于中文网站基本是UTF-8，GB2312，可以GB18030通吃。/虬&jz=АUdY__\FGA} …

Python使用urllib2模块实现断点续传下载的方法

12-23

下面我们将详细讲解如何使用`urllib2`模块实现断点续传下载。首先，断点续传依赖于HTTP协议的`Range`头字段。当向服务器发送请求时，我们可以指定希望获取的文件部分，这就是`Range`头的作用。例如，如果我们已经...

Python urllib opener建立

HesseHermann的博客

11-09

596

使用python中urllib模块建立opener保存表单信息

python3.3中urllib.request.open问题

hhhh112121的专栏

09-02

1787

初学Python，cont = urllib.request.urlopen(url).read() print (cont.decode('UTF-8'))

urllib库的urlopen详解

热门推荐

实践求真知

01-06

1万+

一爬虫基本库 Python提供了功能齐全的类库来帮助我们完成网络请求。最基础的HTTP库有urllib、httplib2、requests、treq等。 urllib库，只需要关心请求的链接是什么，需要传的参数是什么以及可选的请求头设置就好了，不用深入到底层去了解它到底是怎样传输和通信的。有了它，两行代码就可以完成一个请求和响应的处理过程，得到网页内容。二 urllib介绍在Pyth...

urllib2自定义opener详解

snail866的博客

09-02

223

本文转载自脚本之家：http://www.jb51.net/article/46495.htm 这篇文章主要介绍了urllib2自定义opener详解,需要的朋友可以参考下 urllib2.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能，必须使用build_opener()函数创建自定义Opener对象。

Python-玩转数据-urllib库

s_unbo的博客

02-08

1280

Python-玩转数据-urllib库一、说明： urllib库是python内置的一个http请求库，requests库就是基于该库开发出来的，虽然requests库使用更方便，但作为最最基本的请求库，了解一下原理和用法还是很有必要的。二、urllib四个模块组成： urllib.request　　请求模块(就像在浏览器输入网址，敲回车一样) urllib.error　　　异常处理模块(出现请求错误，可以捕捉这些异常) urllib.parse　　 url解析模块 urllib.robotpars

爬虫库urllib使用（2）处理异常

qi85481455的博客

01-21

262

文章目录一、说明二、URLError三、HTTPError 一、说明在我们请求的过程中会遇到网络不好或者程序连接有问题的情况，如果这些异常不处理，程序可能会因为报错而终止运行。二、URLError URLError类来自于urllib库的error模块，是error异常模块中的基类，由request模块中的异常都可以通过这个类处理。 from urllib import request,error try: responde = request.urlopen("https://ww

python爬虫学习---urllib的用法

look_word的博客

05-19

178

python爬虫学习 urllib的用法提供了如下功能：网页请求响应获取代理和cookie设置异常处理 URL解析用法 # request:GET import urllib.request response = urllib.request.urlopen('http://www.baidu.com') print(response.read().decode('utf-8')) # request: POST # http测.

Python——urllib库

weixin_57023347的博客

09-13

1882

urllib是一个用来处理网络请求的python内置库。

urllib2库的基本使用

成字第0431879

11-25

272

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习urllib2。 urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用) urllib2 官方文档：https://docs.python.org/2/library/urllib2.html urllib2 源码：https://hg...