关于urllib2.open的正确使用方式

最新推荐文章于 2024-06-12 17:58:14 发布
最新推荐文章于 2024-06-12 17:58:14 发布
阅读量1.4k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python 文章标签： python 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/killermyth/article/details/39317545
本文探讨了在项目开发中使用松耦合HTTP JSON接口时遇到的超时问题，通过设置urllib2.urlopen的超时参数解决实际业务需求，确保关键任务如短信发送在指定时间内完成。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为了开发起来方便，项目中大量使用了松耦合的http json接口方式

今天突然发现上线系统8点该发的短信，10点才发出来的情况

细细排查，发现竟然是urllib2.open搞的鬼，可能由于网络不稳定，连接一次接口竟然花费了2个小时，然后进入了except中报错


其实改进很简单

urllib2.urlopen(mobileUrl,timeout=60)

mobileUrl为要访问的接口   60为超时时间设置，单位为s


如果想进一步对超时后的情况进行处理，可以在except中捕获对应的日志，然后在日志中查找对应的关键字，如果是timeout，然后怎么做

这部分就只提供思路了

Python爬虫入门系列——Urllib详解
m0_47706863的博客
09-21 993
Python爬虫入门系列——Urllib详解1.背景1.1 初识爬虫1.2 合法性1.3 robots协议2.要求2.1 当前开发环境2.2 编程基础3.快速上手Urllib3.1 request模块3.2Error 模块3.3Parse 模块4.高级应用**4.1 Opener**4.2 代理设置4.3 Cookie 1.背景 1.1 初识爬虫 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本，其本质是模拟浏览器打开网页，获取网页中我们想要的数据。常用的百度、谷歌的搜索引擎也是一个爬虫，把互
Python3 模块1之 Urllib之 urllib.request
独化蓝翅鸟，越岭万昆仑
01-24 3222
什么是 Urllib 库？ urllib 库 是 Python 内置的 HTTP 请求库。urllib 模块提供的上层接口，使访问 www 和 ftp 上的数据就像访问本地文件一样。 有以下几种模块： 1.urllib.request 请求模块 2. urllib.error 异常处理模块 3. urllib.parse url 解析模块 4. urllib.robotp
[Python系列实用教程]一、Python如何使用urllib2获取网络资源
我的程序世界
03-27 1万+
 相关文章：    你同样可以在以下文章找到获取网络资源的相关资料    Python里的例子：一个基础验证相关的教程 urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。他以urlopen函数的形式提供了一个非常简单的接口，这是具有利用不同协议获取URLs的能力，他同样提供了一个比较复杂的接口来处理一般情况，例如：基
urllib2.open(req).read() 报403的错误：怎么办？
weixin_30585437的博客
07-15 410
http://www.douban.com/group/topic/18095751/ heads = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Charset':'GB2312,utf-8;q=0.7,*;q=0.7','Accept-Language':'z...
爬虫之urllib2库的自定义Opener
lixinkuan的博客
02-13 600
Handler处理器 和 自定义Opener opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能： 使用相关的Handler处理器来创建特定功能的处...
python实现简单爬虫百度首页_用Python实现一个简单的爬虫
weixin_40005437的博客
11-24 462
Urllib 库的基本使用分分钟扒一个网页下来怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段 HTML 代码，加 JS、CSS，如果把网页比作一个人，那么 HTML 便是他的骨架，JS 便是他的肌肉，CSS 便是它的衣服。所以最重要的部分是存在于 HTML 中的，下面我们就写个例子来扒一个网页下来。i...
githack报错urllib2.URLError:
最新发布
03-17
### 解决 Githack 中 `urllib2.URLError` 错误的方法 当遇到类似于 `urllib.error.URLError: urlopen error [SSL: CERTIFICATE_VERIFY_FAILED]` 的错误时，这通常表明 SSL 验证失败或者网络连接存在问题[^1]。以下...
python使用urllib2提交http post请求的方法
09-22
使用`urllib2.Request`创建一个Request对象，它包含了将要发送的URL。在这个例子中，我们只传递了URL，没有设置HTTP方法（默认是GET），所以需要在后续步骤中设置。 4. **编码数据**： `urllib.urlencode`函数...
python urllib2中文乱码怎么解决
hakesashou的博客
06-12 1213
问题到这里就解决了，可是对于不能直接使用简洁的 zlib 库表示很不甘心，毕竟根据 python 的文档 gzip 库也是调用 zlib 来解压的，为什么不直接用 zlib 呢？另一个造成乱码的原因是压缩格式，很多规模较大的网站都是以gzip的压缩格式输出页面的，所以在用BS解析之前需要先判断该网页是否经过压缩，如果经过压缩则先进行解压操作。很多乱码问题是编码造成的，一般对于中文网站基本是UTF-8，GB2312，可以GB18030通吃。/虬&jz=АUdY__\FGA} …
Python使用urllib2模块实现断点续传下载的方法
12-23
下面我们将详细讲解如何使用`urllib2`模块实现断点续传下载。 首先，断点续传依赖于HTTP协议的`Range`头字段。当向服务器发送请求时，我们可以指定希望获取的文件部分，这就是`Range`头的作用。例如，如果我们已经...
Python urllib opener建立
HesseHermann的博客
11-09 596
使用python中urllib模块建立opener保存表单信息
python3.3中urllib.request.open问题
hhhh112121的专栏
09-02 1787
初学Python，cont = urllib.request.urlopen(url).read() print (cont.decode('UTF-8'))
urllib库的urlopen详解
热门推荐
实践求真知
01-06 1万+
一 爬虫基本库 Python提供了功能齐全的类库来帮助我们完成网络请求。最基础的HTTP库有urllib、httplib2、requests、treq等。 urllib库，只需要关心请求的链接是什么，需要传的参数是什么以及可选的请求头设置就好了，不用深入到底层去了解它到底是怎样传输和通信的。有了它，两行代码就可以完成一个请求和响应的处理过程，得到网页内容。 二 urllib介绍 在Pyth...
urllib2自定义opener详解
snail866的博客
09-02 225
本文转载自脚本之家：http://www.jb51.net/article/46495.htm 这篇文章主要介绍了urllib2自定义opener详解,需要的朋友可以参考下 urllib2.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能，必须使用build_opener()函数创建自定义Opener对象。
Python-玩转数据-urllib库
s_unbo的博客
02-08 1280
Python-玩转数据-urllib库 一、说明： urllib库是python内置的一个http请求库，requests库就是基于该库开发出来的，虽然requests库使用更方便，但作为最最基本的请求库，了解一下原理和用法还是很有必要的。 二、urllib四个模块组成： urllib.request　　 请求模块(就像在浏览器输入网址，敲回车一样) urllib.error　　　 异常处理模块(出现请求错误，可以捕捉这些异常) urllib.parse　　 url解析模块 urllib.robotpars
爬虫库urllib使用（2） 处理异常
qi85481455的博客
01-21 262
文章目录一、说明二、URLError三、HTTPError 一、说明   在我们请求的过程中会遇到网络不好或者程序连接有问题的情况，如果这些异常不处理，程序可能会因为报错而终止运行。 二、URLError   URLError类来自于urllib库的error模块，是error异常模块中的基类，由request模块中的异常都可以通过这个类处理。 from urllib import request,error try: responde = request.urlopen("https://ww
python爬虫学习---urllib的用法
look_word的博客
05-19 178
python爬虫学习 urllib的用法 提供了如下功能： 网页请求 响应获取 代理和cookie设置 异常处理 URL解析 用法 # request:GET import urllib.request response = urllib.request.urlopen('http://www.baidu.com') print(response.read().decode('utf-8')) ​ # request: POST # http测.
Python爬虫核心模块urllib的学习
javasdn的博客
10-25 835
分享一份Python的学习资料，但由于篇幅有限，完整文档可以扫码免费领取！！！1）Python所有方向的学习路线（新版）总结的Python爬虫和数据分析等各个方向应该学习的技术栈。比如说爬虫这一块，很多人以为学了xpath和PyQuery等几个解析库之后就精通的python爬虫，其实路还有很长，比如说移动端爬虫和JS逆向等等。（2）Python学习视频。
python * urllib_urlopen( )
weixin_30824599的博客
04-13 211
python * urllib_urlopen( ) Python urllib 库提供了一个从指定的 URL 地址获取网页数据，然后对其进行分析处理，获取想要的数据。 一、urllib模块urlopen()函数： urlopen(url, data=None, timeout, proxies=None,context=None) 创建一个表示远程url的类文件对象，然后像本地文件一样操作这个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值