RemoteDisconnected: Remote end closed connection without response

最新推荐文章于 2024-10-22 23:25:11 发布
转载 最新推荐文章于 2024-10-22 23:25:11 发布 · 2.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/fallenmoon/p/8343057.html
文章标签：

#python #大数据 #数据库

本文介绍了解决爬取智联招聘网站数据时遇到的“RemoteDisconnected”错误的方法。通过修改User-Agent来模拟浏览器访问，成功绕过了服务器对Python爬虫的限制。

爬智联招聘数据时候报错：“RemoteDisconnected: Remote end closed connection without response”

利用 urllib 发起的请求，UA 默认是 Python-urllib/3.5 而在 chrome 中访问 UA 则是 User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36，因为服务器根据 UA 来判断拒绝了 python 爬虫。

 把python伪装成Firefox去爬取智联招聘的数据

转载于:https://www.cnblogs.com/fallenmoon/p/8343057.html

加载torchvision模型时出现RemoteDisconnected: Remote end closed connection without response的解决方案
weixin_43178406的博客
12-14 5万+
本文主要介绍了加载torchvision模型时出现RemoteDisconnected: Remote end closed connection without response的解决方案，希望能对使用python加载torchvision模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
成功解决：http.client.RemoteDisconnected: Remote end closed connection without response
安静到无声
04-07 8383
运行程序超时，有时可以正常运行，有时候显示如下错误：。 问题定位 问题分析：加载模型可能是由于网络问题，导致与训练权重难以下载，从而失败。 通过远程访问github进行权重和网络模型的加载（有时候是可以成功的）： 将加载的权重和模型离线另存： 最后再加载保存的离线模型和权重即可：
爬虫请求网站时报错http.client.RemoteDisconnected: Remote end closed connection without response 请求网站时报错
wangyifan123456zz的博客
11-03 9901
USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0
Remote end closed connection without response
m0_50061234的博客
08-09 1万+
目录 问题描述： 1.Remote end closed connection without response 在我丰富了我的headers之后报了下面这个错误。 2.ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。 问题解决： 问题描述： 最近在python学习的时候，按照老师教的方法敲的代码（因为是过去的视频），已经不管用了。 看了网上的 原因， 1.频繁访问导致远程怀疑是恶意攻击 2.User-Agent被网
爬取网页过程报错：RemoteDisconnected: Remote end closed connection without response
the_beginner的博客
06-28 1万+
有问题的代码： import urllib.request # 代码002：(未声明headers，会报错） response = urllib.request.urlopen("http://www.baidu.com") print(response) print(response.read()) 运行结果： Traceback (most recent call last): File "D:/PycharmProjects/pythonProject/douban/test1/temp.py"
‘Connection aborted.‘, RemoteDisconnected(‘Remote end closed connection without response‘)
最新发布
as_ljl的博客
10-22 2746
python: 调用API报错：requests.exceptions.ConnectionError: (‘Connection aborted.’, RemoteDisconnected(‘Remote end closed connection without response’))原因：User-Agent是一个HTTP头部字段，用于标识发送HTTP请求的客户端应用程序或设备的信息；无论是浏览器发出的请求，还是爬虫发出的请求，都会包含请求头。解决方式：headers添加’User-Agent’
成功解决：python爬虫http.client.RemoteDisconnected: Remote end closed connection without response
weixin_46569877的博客
07-14 1万+
python爬虫
【Python】py3.6请求网站时报错：http.client.RemoteDisconnected: Remote end closed connection without response
小白兔的窝
02-25 2万+
爬虫代码报错：http.client.RemoteDisconnected: Remote end closed connection without response 原因：服务器限制了User-Agent的访问。 1.什么是user-agent? 有一些网站不喜欢被爬虫程序访问，所以会检测连接对象，如果是爬虫程序，也就是非人点击访问，它就会不让你继续访问，所以为了要让程序可以正常运行...
RemoteDisconnected: Remote end closed connection without response的解决方法
u010883226的专栏
05-03 3万+
根据各位大神的解释是UA（User-Agent）出现问题了， headers = {'User-Agent': 'User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'} req = ...
Python 爬虫：http.client.RemoteDisconnected: Remote end closed connection without response 问题解决
疯魔coding君的博客
04-11 1万+
在使用 Python 爬虫库中的 urllib 或者 requests 库获取数据时，大多数网站都会对用户请求中的 User-Agent 进行检测，如果没有在请求头中设置 User-Agent，那么就会抛出如下异常： http.client.RemoteDisconnected: Remote end closed connection without response urllib 设置 User-Agent 示例如下： from urllib.request import urlopen, Req
apppium raise RemoteDisconnected(“Remote end closed connection without“)
weixin_42932253的博客
11-22 2096
apppium raise RemoteDisconnected(“Remote end closed connection without“) appium端口占用
RemoteDisconnected: Remote end closed connection without response 解决seaborn.load_dataset()调取数据失败
六月天、泡沫
11-22 2729
RemoteDisconnected: Remote end closed connection without response
user_agent浏览器头部
qq_43730719的博客
05-10 519
user_agent=[ “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”, “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2....
http.client.RemoteDisconnected: Remote end closed connection without response相关问题的解决
weixin_73817187的博客
02-22 6604
这里我用的是http协议，请求的url也是http协议 ，这个位置测试网站换成https://blog.youkuaiyun.com/lovlu18 协议时，它还是可以得到响应，这个因为没有。通俗点来说，就是如果添加了UA之后，问题还没有得到解决，就看一下你请求的网站，是不是https,如果是，就改为http试一下，即建议大家使用。大多数网站都会对用户请求中的 User-Agent 进行检测，如果没有在请求头中设置 User-Agent，那么就会抛出异常。遇到这类的问题，在使用 Python 爬虫库中的。
【错误记录/python】requests库get请求:Remote end closed connection without response
热门推荐
o0o
06-22 3万+
场景 在使用requests进行get请求时，由于请求比较频繁，导致报错 import requests while True: # do something requests.get(url) requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',)) 服务器重启后可以正常返回，但是运行
调用Django接口‘Connection aborted.‘, RemoteDisconnected(‘Remote end closed connection without response‘
本博客暂停使用
01-18 6489
调用Django接口，出现错误requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',))
python爬虫过程报错：http.client.RemoteDisconnected: Remote end closed connection without response
dldfigo的博客
09-28 3万+
爬虫过程报错：http.client.RemoteDisconnected: Remote end closed connection without response 因为服务器根据 UA 来判断拒绝了 python 爬虫。
python3 Connection aborted.', RemoteDisconnected('Remote end closed connection without response'
123
05-08 3万+
在写爬虫的时候遇到了问题，网站是asp.net写的 requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',)) 于是就抓包分析，发现只要加了’Accept-Language’就好了。。。 '...
爬虫过程报错：http.client.RemoteDisconnected: Remote end closed connection without response
薛定谔的科
03-07 2万+
import urllib from urllib import request page = 1 url = 'http://www.qiushibaike.com/hot/page/'+str(page) #url = 'http://www.baidu.com' try: req = request.Request(url) response = request.urlopen(req...
http.client.RemoteDisconnected: Remote end closed connection without response
01-10
http.client.RemoteDisconnected: Remote end closed connection without response 是一个常见的网络连接错误，它表示远程服务器关闭了连接而没有返回任何响应。这个错误通常发生在以下几种情况下： 1. 连接超时：如果连接超时时间过长，服务器可能会主动关闭连接。可以尝试增加连接超时时间来解决这个问题。 2. 服务器负载过高：如果服务器负载过高，可能会导致服务器关闭连接以减轻负载。可以尝试在非高峰时段进行请求，或者联系服务器管理员解决负载问题。 3. 防火墙或代理问题：防火墙或代理服务器可能会中断连接，导致远程服务器关闭连接。可以尝试禁用防火墙或代理，或者联系网络管理员解决问题。 4. 请求错误：如果请求的URL或参数有误，服务器可能会关闭连接。可以检查请求的URL和参数是否正确。 以下是一个示例代码，演示如何处理 http.client.RemoteDisconnected 错误： ```python import http.client try: conn = http.client.HTTPSConnection("www.example.com") conn.request("GET", "/") response = conn.getresponse() print(response.status, response.reason) data = response.read() # 处理响应数据 conn.close() except http.client.RemoteDisconnected as e: print("连接被远程关闭:", e) except Exception as e: print("发生其他错误:", e) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值