python socket 超时设置 errno10054

最新推荐文章于 2024-04-13 21:28:25 发布
转载 最新推荐文章于 2024-04-13 21:28:25 发布 · 298 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/mmix2009/p/3224954.html

本文介绍了如何解决使用Python读取网页时遇到的远程主机关闭连接的问题，包括设置socket超时时间、正确使用urlopen和urllib.request库，以及异常处理策略，确保程序稳定运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

python socket.error: [Errno 10054] 远程主机强迫关闭了一个现有的连接。问题解决方案：

前几天使用python读取网页。因为对一个网站大量的使用urlopen操作，所以会被那个网站认定为攻击行为。有时就不再允许下载。导致urlopen()后，request.read()一直卡死在那里。最后会抛出errno 10054.

这 个错误是connection reset by peer.也就是传说的远端主机重置了此连接。原因可能是socket超时时间过长；也可能是request = urllib.request.urlopen(url)之后，没有进行request.close()操作；也可能是没有sleep几秒，导致网站认定 这种行为是攻击。

具体解决方案如下面的代码：

view plaincopy to clipboardprint?
import socket  
import time  
timeout = 20    
socket.setdefaulttimeout(timeout)#这里对整个socket层设置超时时间。后续文件中如果再使用到socket，不必再设置  
sleep_download_time = 10 
time.sleep(sleep_download_time) #这里时间自己设定  
request = urllib.request.urlopen(url)#这里是要读取内容的url  
content = request.read()#读取，一般会在这里报异常  
request.close()#记得要关闭 
import socket
import time
timeout = 20 
socket.setdefaulttimeout(timeout)#这里对整个socket层设置超时时间。后续文件中如果再使用到socket，不必再设置
sleep_download_time = 10
time.sleep(sleep_download_time) #这里时间自己设定
request = urllib.request.urlopen(url)#这里是要读取内容的url
content = request.read()#读取，一般会在这里报异常
request.close()#记得要关闭

因为urlopen之后的read()操作其实是调用了socket层的某些函数。所以设置socket缺省超时时间，就可以让网络自己断掉。不必在read()处一直等待。

当然你也可以再外层再写几个try,except,例如：

view plaincopy to clipboardprint?
try:  
    time.sleep(self.sleep_download_time)  
    request = urllib.request.urlopen(url)  
    content = request.read()  
    request.close()  
      
except UnicodeDecodeError as e:  
         
    print('-----UnicodeDecodeErrorurl:',url)  
      
except urllib.error.URLError as e:  
    print("-----urlErrorurl:",url)  
 
except socket.timeout as e:  
    print("-----socket timout:",url) 
        try:
            time.sleep(self.sleep_download_time)
            request = urllib.request.urlopen(url)
            content = request.read()
            request.close()
           
        except UnicodeDecodeError as e:
              
            print('-----UnicodeDecodeErrorurl:',url)
           
        except urllib.error.URLError as e:
            print("-----urlErrorurl:",url)
  
        except socket.timeout as e:
            print("-----socket timout:",url)

一 般来说就莫有问题了。我测试了几千个网页的下载，然后才说出此话。不过如果是下载成千上万的，我做了下测试，ms还是会跳出这个异常。可能是 time.sleep()的时间太短，也可能是网络突然中断。我使用urllib.request.retrieve()测试了一下，发现不停的下载数 据，总会有失败的情况出现。

简单的处理方法是：首先参照的我的文章：python检查点简单实现 。先做一个检查点。然后将以上会跑出异常的那段代码while True一下。参见下面的伪代码：

view plaincopy to clipboardprint?
def Download_auto(downloadlist,fun,sleep_time=15):  
    while True:          
        try: # 外包一层try   
            value = fun(downloadlist,sleep_time) # 这里的fun是你的下载函数，我当函数指针传进来。 
           # 只有正常执行方能退出。  
            if value == Util.SUCCESS:  
                break 
        except : # 如果发生了10054或者IOError或者XXXError  
            sleep_time += 5 #多睡5秒，重新执行以上的download.因为做了检查点的缘故，上面的程序会从抛出异常的地方继续执行。防止了因为网络连接不稳定带来的程序中断。  
            print('enlarge sleep time:',sleep_time) 
def Download_auto(downloadlist,fun,sleep_time=15):
    while True:       
        try: # 外包一层try
            value = fun(downloadlist,sleep_time) # 这里的fun是你的下载函数，我当函数指针传进来。
           # 只有正常执行方能退出。
            if value == Util.SUCCESS:
                break
        except : # 如果发生了10054或者IOError或者XXXError
            sleep_time += 5 #多睡5秒，重新执行以上的download.因为做了检查点的缘故，上面的程序会从抛出异常的地方继续执行。防止了因为网络连接不稳定带来的程序中断。
            print('enlarge sleep time:',sleep_time)

不过对于找不到相应的网页，又要做另外的一番处理：

view plaincopy to clipboardprint?
# 打印下载信息  
def reporthook(blocks_read, block_size, total_size):  
    if not blocks_read:  
        print ('Connection opened')  
    if total_size < 0:  
        print ('Read %d blocks' % blocks_read)  
    else: 
        # 如果找不到，页面不存在，可能totalsize就是0，不能计算百分比  
        print('downloading:%d MB, totalsize:%d MB' % (blocks_read*block_size/1048576.0,total_size/1048576.0))  
        
 
def Download(path,url): 
#url = 'http://downloads.sourceforge.net/sourceforge/alliancep2p/Alliance-v1.0.6.jar' 
    #filename = url.rsplit("/")[-1]  
    try: 
    # python自带的下载函数  
        urllib.request.urlretrieve(url, path, reporthook)  
    except IOError as e: # 如果找不到，好像会引发IOError。  
        print("download ",url,"\nerror:",e)  
    print("Done:%s\nCopy to:%s" %(url,path)) 
# 打印下载信息
def reporthook(blocks_read, block_size, total_size):
    if not blocks_read:
        print ('Connection opened')
    if total_size < 0:
        print ('Read %d blocks' % blocks_read)
    else:
        # 如果找不到，页面不存在，可能totalsize就是0，不能计算百分比
        print('downloading:%d MB, totalsize:%d MB' % (blocks_read*block_size/1048576.0,total_size/1048576.0))
     

def Download(path,url):
#url = 'http://downloads.sourceforge.net/sourceforge/alliancep2p/Alliance-v1.0.6.jar'
    #filename = url.rsplit("/")[-1]
    try:
    # python自带的下载函数
        urllib.request.urlretrieve(url, path, reporthook)
    except IOError as e: # 如果找不到，好像会引发IOError。
        print("download ",url,"\nerror:",e)
    print("Done:%s\nCopy to:%s" %(url,path))

如果大家还是遇到了问题...请再评论里注上其他解决方案。

转载于:https://www.cnblogs.com/mmix2009/p/3224954.html

Python Socket 超时设置和错误处理
BugCrusher的博客
10-05 1053
在网络编程中，经常需要处理网络连接的超时和错误。Python的Socket库提供了一些方法来设置超时时间并处理错误，以确保网络操作的稳定性和可靠性。方法设置超时时间，并捕获相应的异常来处理错误，我们可以提高网络操作的稳定性和可靠性。在实际应用中，根据具体的需求和场景，我们可以根据需要进行适当的修改和扩展。除了超时错误外，Socket编程还可能发生其他类型的错误，如连接错误、发送/接收数据错误等。通过适当的错误处理，我们可以在网络编程中提高代码的健壮性，并更好地应对各种网络异常情况。如果连接超时，将捕获。
python socket.error: [Errno 10054] 远程主机强迫关闭了一个现有的连接。问题解决方案
热门推荐
请大家直接把问题写在评论区或留言，不要只说一句"你好 或 在吗"，我会尽快回复的。
06-04 3万+
python socket.error: [Errno 10054] 远程主机强迫关闭了一个现有的连接。问题解决方案：前几天使用python读取网页。因为对一个网站大量的使用urlopen操作，所以会被那个网站认定为攻击行为。有时就不再允许下载。导致urlopen()后，request.read()一直卡死在那里。最后会抛出errno 10054.这个错误是conn...
python设定并获取socket超时时间的方法
12-25
python写法 import socket def test_socket_timeout(): s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) print "Default socket timeout: %s" %s.gettimeout() s.settimeout(100) print "Current socket timeout: %s" %s.gettimeout() if __name__ == '__main__': #针对单个socket实例的超时 test_socket_timeout
python socket 超时设置
zhouguoqionghai的博客
06-14 2万+
python socket 提供 settimeout 设置阻塞 IO 的超时时间，一旦超时，抛出 timeout 异常。不过这样，接收与发送的超时时间都被设置为相同了。如果需要接收与发送设置不同的超时时间，需要利用 socket 选项 SO_RCVTIMEO 和 SO_SNDTIMEO 来实现。 Linux 下，选项的参数值为 timeval，两个字段表示秒与微妙，都是 64 位整数。 s...
python socket设置超时时间_python设定并获取默认的套接字超时时间
weixin_39668496的博客
12-19 3344
当需要处理socket库某些属性的默认值，例如套接字超时时间。你可以创建一个套接字对象实例，调用settimeout()法设定一个超时时间,在调用gettimeout()方法获取默认的超时时间。这种操作在开发服务器应用时很有用。技术点解析：1、定义socket_timeout()函数，注意函数缩进格式。2、socket库中的类函数创建一个套接字对象使用socket.socket(socket.AF...
python设定并获取socket超时时间
枫小秋 的博客
08-07 1万+
1.python写法   import socket def test_socket_timeout(): s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) print "Default socket timeout: %s" %s.gettimeout() s.settimeout(100) ...
python socket 超时设置 errno 10054
12-23
python socket.error: [Errno 10054] 远程主机强迫关闭了一个现有的连接。问题解决方案： ...原因可能是socket超时时间过长；也可能是request = urllib.request.urlopen(url)之后，没有进行request.cl
python远程主机强迫关闭了_[转] python 远程主机强迫关闭了一个现有的连接 socket 超时设置 errno 10054...
weixin_31499919的博客
02-04 2512
python socket.error: [Errno 10054] 远程主机强迫关闭了一个现有的连接。问题解决方案：前几天使用python读取网页。因为对一个网站大量的使用urlopen操作，所以会被那个网站认定为攻击行为。有时就不再允许下载。导致urlopen()后，request.read()一直卡死在那里。最后会抛出errno 10054.这个错误是connection reset by ...
python socket函数_python socket函数详解
weixin_39929254的博客
12-07 812
python socket函数详解学习了部分有关python socket函数方面的编程操作，但是对于socket函数的了解知之甚少，许多函数在用的时候，都需要在借助网上资料，浪费很多的时间，索性花费一点功夫整理一番，好方便自己以后查阅。主要介绍：socket、bind、listen、connect、accept、send、sendto、recv、recvfrom、close、shutdown。一...
python中socket详解_python socket函数详解
weixin_39724362的博客
12-21 2385
关于socket函数，每个的意义和基本功能都知道，但每次使用都会去百度，参数到底是什么，返回值代表什么意义，就是说用的少，也记得不够精确。每次都查半天，经常烦恼于此。索性都弄得清楚、通透，并记录下来，一来便于自己记忆，再者以防日后查阅、回顾。主要介绍：socket、bind、listen、connect、accept、send、sendto、recv、recvfrom、close、shutdown...
python3设置socket超时参数SO_RCVTIMEO
qq_24750511的博客
09-30 1808
这两个选项仅对数据接收和发送相关的socket专用系统调用有效（send、sendmsg、recv、recvmsg、accept、connect）套接字选项SO_RCVTIMEO： 用来设置socket接收数据的超时时间；套接字选项SO_SNDTIMEO： 用来设置socket发送数据的超时时间；其中tv_sec为时间的秒部分，tv_usec为时间的毫秒部分。
python 设置方法超时
zhengchunxi
04-16 6379
#!/usr/bin/python #-*-coding:utf-8-*- import os,time,signal,platform,subprocess,smtplib class TimeoutError(Exception): pass def run_command(cmd, timeout=60): is_linux = platform.system() ==
Python之socket编程(未完待续)
Techml的博客
05-03 1344
一 CS架构 二 TCP UDP IP之间的关系 二 套接字 套接字工作流程 套接字函数 基于TCP的socket编程 基于UDP的socket编程 一. C/S架构 C/S架构有叫做 客户端/服务端 架构。 服务器是一个软件或者硬件，用于提供客户需要的“服务”，服务器存在的唯一目的就是等待客户的请求，给这些客户提供服务，然后再等待其他请求。 硬件 客户/服务器 架构 打
Python 技术篇-全局与当前socket超时连接时间设置方法实例演示，查看socket超时连接时间
小蓝枣的博客
08-18 3206
Python 技术篇-全局与当前socket超时连接时间设置方法实例演示，查看socket超时连接时间。 socket.setdefaulttimeout() 方法用于设置全局socket超时连接时间。 settimeout()方法用于设置全局socket超时连接时间。
python socket 在读取时（recv）服务端断开，这时没有异常，添加超时或非阻塞模式
weixin_42802937的博客
04-13 1023
在Python中使用socket进行通信时，如果客户端断开连接而服务器端在尝试读取时没有捕获到异常，可能会导致recv函数挂起或阻塞。为了捕获这种情况，可以使用超时机制或者非阻塞I/O。解决方案2：使用非阻塞I/O。解决方案1：设置超时。
python socket.error: [Errno 10054] 解决方法
zhengxiuchen86的博客
04-27 1747
python socket.error: [Errno 10054] 解决方法
error：selenium操作Firefox报错socket.error: [Errno 10054]
彭世瑜的博客
08-18 1531
selenium操作Firefox报错socket.error: [Errno 10054] 开始以为是时间不够，增加等待时间，然后没有什么用 查看：https://github.com/mozilla/geckodriver/releases 发现版本要求，再查看本地的Selenium 版本太低，是3.6的，果断升级 Firefox 57 (and greater) Selenium 3...
python socket.error: [Errno 10054] 远程主机强迫关闭了一个现有的连接。
ykm18811712927的博客
05-22 2万+
因为对一个网站大量的使用urlopen操作，所以会被那个网站认定为攻击行为。有时就不再允许下载。导致urlopen()后，request.read()一直卡死在那里。最后会抛出errno10054. 这个错误是connection reset bypeer.也就是传说的远端主机重置了此连接。原因可能是socket超时时间过长；也可能是request =urllib.request.urlopen
python字节序转换+设置套接字超时时间
京东放养的爬虫
04-25 2219
将数据在网络字节序和主机字节序之间相互转化。通过调用ntohl和htonl函数，l代表长整型32bit，s代表短整型16bit。 import socket def convert_integer(): data = 1234 # 32-bit print "Original: %s => Long host byte order: %s, Network byte
python 设置脚本运行超时时间
最新发布
07-31
<think>我们被要求使用中文回答，并且需要遵循严格的格式要求。用户的问题是关于在Python中设置脚本执行的超时时间。 根据引用[1]、[2]、[4]和[5]，我们可以知道有几种方法可以设置超时时间： 1. 使用subprocess模块，并在其中设置超时（引用[1]和[4]）。 2. 使用socket设置超时（引用[2]和[5]），但这里用户的问题是关于脚本执行的超时，所以更可能是执行外部命令或函数。 用户的问题没有明确是执行外部命令还是内部函数，但根据引用，我们主要看到两种场景： - 执行外部命令或脚本（使用subprocess） - 执行网络请求（如SSE连接，引用[3]）或系统时间设置（引用[2]和[5]） 由于问题比较宽泛，我将分别讨论两种常见情况：执行外部命令和内部代码块的超时。 ### 情况1：执行外部命令或脚本 使用`subprocess`模块，我们可以设置超时时间，并在超时后终止进程。 引用[1]和[4]提供了使用subprocess的例子，其中引用[4]提到“python通过subprocess模块调用系统命令。实际使用中，有一次是命令进入了交互模式，结果web端直接卡死了。调用时设置一个超时时间，时间用完后自动断开。” 在Python 3.3及以上版本，`subprocess.run`有一个`timeout`参数，可以设置超时时间。如果超时，会抛出`subprocess.TimeoutExpired`异常。 示例代码： ```python import subprocess try: # 设置超时时间为10秒 result = subprocess.run(['your_command', 'arg1', 'arg2'], stdout=subprocess.PIPE, stderr=subprocess.PIPE, timeout=10) print(result.stdout.decode()) except subprocess.TimeoutExpired: print("命令执行超时！") ``` 对于更复杂的控制（如引用[1]中的例子），我们可以使用`subprocess.Popen`并配合轮询和超时机制。 ### 情况2：执行内部代码块（函数）的超时 如果我们需要对一段Python代码（函数）设置超时，可以使用信号（signal）或多线程/多进程。但注意，信号方法在Windows上可能不可用，而且主线程中使用信号可能会影响整个程序。 另一种方法是使用多进程，因为终止一个子进程比终止一个线程更安全。 使用`multiprocessing`模块的例子： ```python import multiprocessing import time def your_function(): # 模拟长时间运行的任务 time.sleep(20) return "完成" if __name__ == '__main__': pool = multiprocessing.Pool(processes=1) result = pool.apply_async(your_function) try: # 设置超时时间为10秒 output = result.get(timeout=10) print(output) except multiprocessing.TimeoutError: print("函数执行超时！") pool.terminate() # 终止进程池 pool.join() ``` 另外，也可以使用第三方库如`func_timeout`，它提供了更简单的超时控制。 ### 其他情况：网络请求等 对于网络请求，通常使用的库（如requests）有内置的超时参数。例如： ```python import requests try: response = requests.get('http://example.com', timeout=5) # 5秒超时 print(response.text) except requests.exceptions.Timeout: print("请求超时") ``` 对于SSE连接（引用[3]），我们可以通过设置底层的socket超时或使用带有超时控制的SSE客户端。 ### 总结 根据不同的场景，设置超时的方法不同： 1. 执行外部命令：使用`subprocess`模块的`timeout`参数。 2. 执行内部函数：使用多进程和`get`方法的`timeout`参数，或者使用第三方库。 3. 网络请求：使用相应库的超时参数。 现在，根据要求，我们需要生成相关问题。 §§相关问题§§ 1. 如何在Windows上设置Python函数的执行超时？ 2. 使用subprocess设置超时后，如何获取超时前已经输出的内容？ 3. 除了subprocess和multiprocessing，还有哪些方法可以设置超时？ 4. 如何处理超时后资源的清理工作？</think>### Python设置脚本执行超时时间的方法 在Python中设置脚本执行的超时时间，主要有以下几种方法： #### 1. 使用subprocess模块（推荐） ```python import subprocess try: # 设置10秒超时 result = subprocess.run( ['python', 'your_script.py'], stdout=subprocess.PIPE, stderr=subprocess.PIPE, timeout=10 # 超时时间(秒) ) print("输出:", result.stdout.decode()) except subprocess.TimeoutExpired: print("执行超时! 已终止进程") ``` #### 2. 使用signal模块（仅限Unix系统） ```python import signal import sys def handler(signum, frame): print("执行超时!") sys.exit(1) # 设置5秒超时 signal.signal(signal.SIGALRM, handler) signal.alarm(5) # 你的代码 try: # 需监控的代码块 time.sleep(10) # 模拟耗时操作 finally: signal.alarm(0) # 取消定时器 ``` #### 3. 使用多线程/进程（跨平台） ```python from multiprocessing import Pool import time def run_script(): # 需执行的函数 time.sleep(20) return "完成" if __name__ == '__main__': with Pool(processes=1) as pool: result = pool.apply_async(run_script) try: output = result.get(timeout=10) # 10秒超时 print(output) except TimeoutError: print("执行超时! 终止中...") pool.terminate() ``` #### 4. 使用装饰器（函数级超时） ```python import functools import errno import os import signal class TimeoutError(Exception): pass def timeout(seconds=10): def decorator(func): def wrapper(*args, **kwargs): def handler(signum, frame): raise TimeoutError("函数执行超时") signal.signal(signal.SIGALRM, handler) signal.alarm(seconds) try: result = func(*args, **kwargs) finally: signal.alarm(0) return result return wrapper return decorator @timeout(5) def long_running_task(): time.sleep(10) return "完成" ``` ### 关键注意事项 1. **外部命令**：执行外部脚本建议使用`subprocess`，它能自动处理子进程终止[^4] 2. **资源清理**：超时后务必终止相关进程/线程，避免资源泄漏 3. **Windows限制**：`signal`模块在Windows上功能有限，建议使用`multiprocessing` 4. **精度问题**：超时控制精度通常在毫秒级，不能保证精确到微秒 5. **异常处理**：超时后应妥善处理中断状态和清理资源 > 对于网络请求超时，建议直接使用库的内置参数（如`requests.get(timeout=5)`），而非进程级控制[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值