urllib2.urlopen超时未设置导致程序卡死

本文介绍了解决urllib2.urlopen()方法在读取网络数据时因超时而卡死的问题。提供了几种有效的方法,包括为urlopen设置timeout参数、设置全局socket超时、使用httplib2或timeout_urllib2模块以及利用定时器timer。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

没有设置timeout参数,结果在网络环境不好的情况下,时常出现read()方法没有任何反应的问题,程序卡死在read()方法里,搞了大半天,才找到问题,给urlopen加上timeout就ok了,设置了timeout之后超时之后read超时的时候会抛出socket.timeout异常,想要程序稳定,还需要给urlopen加上异常处理,再加上出现异常重试,程序就完美了。

import urllib2
url='http://www.facebook.com/'
fails = 0
while True:
    try:
        if fails >= 20:
            break
        req = urllib2.Request(url)
        response = urllib2.urlopen(req, None, 3)
        page = response.read()
    except:
        fails += 1
        print '网络连接出现问题, 正在尝试再次请求: ', fails
    else:
        break



--------------------------------------------------------------------------------------------------------
有时候我们在爬取网络数据时,会因为对方网速缓慢、服务器超时等原因,

导致 urllib2.urlopen() 之后的 read()操作(下载内容)卡死,要解决这个问题方法有如下几个:

1、为urlopen设置可选参数 timeout

import urllib2
# http://classweb.loxa.com.tw/dino123/air/P1000772.jpg
r = urllib2.Request("http://classweb.loxa.com.tw/dino123/air/P1000775.jpg")
try:
        print 111111111111111111
        f = urllib2.urlopen(r, data=None, timeout=3)
        print 2222222222222222
        result =  f.read()
        print 333333333333333333
except Exception,e:
        print "444444444444444444---------" + str(e)

print "55555555555555"



2、设置全局的socket超时:

import socket
socket.setdefaulttimeout(10.0) 


或者使用:httplib2 or timeout_urllib2

http://code.google.com/p/httplib2/wiki/Examples

http://code.google.com/p/timeout-urllib2/source/browse/trunk/timeout_urllib2.py


3、使用定时器 timer

from urllib2 import urlopen
from threading import Timer
url = "http://www.python.org"
def handler(fh):
        fh.close()
fh = urlopen(url)
t = Timer(20.0, handler,[fh])
t.start()
data = fh.read()    #如果二进制文件需要换成二进制的读取方式
t.cancel()

### urllib2.urlopen 方法的使用及参数说明 `urllib2.urlopen` 是 Python 2 中用于发送 HTTP 请求并获取响应的方法。以下是关于其用法和参数的详细说明: #### 方法签名 ```python urllib2.urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT, cafile=None, capath=None, cadefault=False, context=None) ``` #### 参数详解 1. **url**: - 必填参数,表示目标 URL 地址。 - 可以是字符串形式的 URL 或者是一个 `Request` 对象[^5]。 2. **data**: - 可选参数,表示要发送的数据。 - 如果提供了 `data` 参数,则会发出一个 POST 请求;否则,默认为 GET 请求。 - 数据需要经过 `urllib.urlencode` 编码,并转换为字节流形式[^4]。 3. **timeout**: - 可选参数,设置请求超时时间(单位为秒)。 - 如果指定,则使用全局默认值。 4. **cafile, capath, cadefault, context**: - 这些参数主要用于 HTTPS 请求的安全验证。 - 在 Python 2 中,这些参数通常不被支持,但在 Python 3 的 `urllib.request.urlopen` 中可用。 #### 示例代码 以下是一些常见的使用示例: ##### 示例 1: 发送 GET 请求 ```python import urllib2 url = "http://www.example.com" response = urllib2.urlopen(url) # 发送 GET 请求 print(response.read()) # 输出响应内容 ``` ##### 示例 2: 发送 POST 请求 ```python import urllib import urllib2 url = "http://www.example.com/api" key_dict = {"username": "test", "password": "123456"} data = urllib.urlencode(key_dict) # 将字典转换为查询字符串 request = urllib2.Request(url, data=data) # 创建 Request 对象 response = urllib2.urlopen(request) # 发送 POST 请求 print(response.read()) # 输出响应内容 ``` ##### 示例 3: 添加自定义请求头 ```python import urllib import urllib2 url = "http://www.example.com" headers = { "User-Agent": "Mozilla/5.0", "Referer": "http://www.google.com" } request = urllib2.Request(url, headers=headers) # 设置请求头 response = urllib2.urlopen(request) # 发送请求 print(response.read()) # 输出响应内容 ``` ##### 示例 4: 处理异常 ```python import urllib2 url = "http://www.nonexistentdomain.com" try: response = urllib2.urlopen(url) print(response.read()) except urllib2.URLError as e: print(e.reason) # 输出错误原因 ``` #### 注意事项 - 在 Python 3 中,`urllib2` 被拆分为多个模块,例如 `urllib.request` 和 `urllib.error`[^3]。 - 如果需要处理复杂的请求(如代理、Cookies 等),可以结合 `urllib2.Request` 和其他相关模块使用[^5]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值