爬虫requests卡死，dns解析问题

最新推荐文章于 2025-02-21 16:33:07 发布

qq_43472841

最新推荐文章于 2025-02-21 16:33:07 发布

阅读量1.2k

点赞数 1

文章标签：爬虫 python

本文链接：https://blog.youkuaiyun.com/qq_43472841/article/details/113308656

版权

这篇博客探讨了在使用Python爬虫时遇到DNS解析卡死的问题及其解决方案。建议包括：1) 使用外部DNS服务，如阿里DNS来提高稳定性；2) 设置socket超时时间，例如`socket.setdefaulttimeout(时间)`以避免长时间等待；3) 修改本地hosts文件，直接映射目标域名，减少DNS解析延迟。这些方法有助于优化爬虫性能并提高爬取效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关于python爬虫requests请求，dns解析卡死问题

1
使用外部dns解析，如阿里dns

2
import socket
socket.setdefaulttimeout(时间)
3
改变本机hosts，过滤dns解析

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_43472841

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

两万字博文教你python爬虫requests库【详解篇】

孤寒者的博客

07-12

63万+

两万字博文教你python爬虫requests库【详解篇】

Python爬虫requests返回值为空的解决方案

最新发布

2409_89014517的博客

02-21

1797

如何排查服务器 DNS 解析失败的问题

Requests库中，下面哪个是由于DNS查询失败造成的获取URL异常？

weixin_42601134的博客

12-28

355

在 Requests 库中，如果由于 DNS 查询失败而导致获取 URL 出现异常，则可能会抛出 requests.exceptions.ConnectionError 异常。 ConnectionError 异常是所有网络连接问题的基类，其中包括 DNS 查询失败。例如： import requests try: response = requests.get('http://www...

Requests卡死问题

bankelei6741的博客

09-08

678

https://www.cnblogs.com/niansi/p/7143736.html https://blog.youkuaiyun.com/pilipala6868/article/details/80712195 设置timeout依然卡死，据说是DNS的问题，解决方案是改成阿里公共DNS（223.5.5.5 / 223.6.6.6）亲测有用，原来挂机跑几千条数据就有可能随机...

WebRequest对DNS说：没有你我依然可以

weixin_33813128的博客

07-18

147

前言标题中的“没有你我依然可以”引用自王杰一首歌的名字《没有你我依然可以》。 WebRequest - 就是大家熟知的System.Net.WebRequest，.NET世界中代码们用的“浏览器”。 DNS - Domain Name System，就是大家熟知的将域名解析为IP地址的系统。起因今天园友sixserve在博问上问了一个问题 - C# socket http请求时怎么...

爬虫卡死问题解决.zip

05-28

标题中的“爬虫卡死问题解决.zip”表明这个压缩包包含了一个关于解决Python爬虫程序在执行过程中出现卡死情况的实例。描述中提到“爬虫百例第68案例素材”，暗示这是一个教学系列的一部分，专门针对初学者，用于演示...

python requests 卡死 dns

03-16

Python requests 可能会因为 DNS 解析问题而卡死。这可能是因为 DNS 服务器无法响应请求，或者网络连接不稳定。解决此问题的方法包括使用其他 DNS 服务器、检查网络连接、使用代理服务器等。

python爬虫实例 requests+beautifulsoup4解析 HTML 页面一个简单的网页上抓取标题和链接

09-07

python爬虫实例 requests+beautifulsoup4解析 HTML 页面一个简单的网页上抓取标题和链接 Python 爬虫是一种自动化程序，用于从网站上抓取数据。这里我将提供一个简单的 Python 爬虫实例，使用 requests 库来发送 ...

Python request.get遇到的问题

qq_50000922的博客

02-26

3760

问题：404；动态加载；521；UnicodeEncodeError

DDOS之DNS Request Flood攻击和防御

顶峰

03-30

736

1、网络安全理论知识（2天）①了解行业相关背景，前景，确定发展方向。②学习网络安全相关法律法规。③网络安全运营的概念。④等保简介、等保规定、流程和规范。（非常重要）2、渗透测试基础（一周）①渗透测试的流程、分类、标准②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等3、操作系统基础（一周）

DNS协议与请求

m0_48520269的博客

04-21

1259

域名系统（英文：Domain Name System，缩写：DNS）是互联网的一项服务。它作为将域名和 IP 地址相互映射的一个分布式数据库，能够使人更方便地访问互联网。DNS 使用 TCP 和 UDP 端口 53。当前，对于每一级域名长度的限制是 63 个字符，域名总长度则不能超过 253 个字符。

关于Python爬虫Scrapy在高并发下DNS查找失败解决方案

weixin_43667643的博客

08-15

2035

使用场景:检测80w URL 可否打开配置:高端配置,20+进程 500+CONCURRENT_REQUESTS 运行一段时间后会有DNSLookup什么的错误,也就是查找超时,但是在浏览器里可以打开这个网页首先做一些可能的无用功,爬虫配置 : ‘COOKIES_ENABLED’: False, ‘RETRY_ENABLED’: False,‘DNS_TIMEOUT’: 60, 再配置可能的...

Python3 `requests.get()`卡死，可能存在哪些问题？

cda2024的博客

01-08

643

在现代编程实践中，Python 作为一种灵活且强大的编程语言，广泛应用于网络请求、数据抓取以及自动化任务中。requests库作为 Python 中最常用的 HTTP 客户端之一，以其简洁易用的 API 和强大的功能深受开发者喜爱。然而，在实际应用中，我们有时会遇到调用卡死的问题，这不仅会影响程序的性能，还可能导致整个系统崩溃。本文将深入探讨卡死的可能原因，并提供相应的解决方法。

爬虫的DNS缓存

Fizz`s Blog

12-04

2661

爬虫中的DNS缓存的实现一、实验背景在实现爬虫的过程中，需要对域名进行DNS解析，要向DNS服务器发起请求。当爬虫的量达到十万、千万级别时，这一部分的耗时就非常可观了，同时也给服务器增大了复旦。因此需要对其进行优化，使其能实现DNS缓存，不必发起太多请求。二、实现方法首先想到的就是修改hosts文件，这样能直接省下向DNS发起请求的时间。但是缺点是无法实时更新，如果域名和I

dns

a562449131的博客

09-01

223

1.主机[A]记录描述: 主机地址记录。在 DNS 域名与 IP 地址之间建立映射关系语法: owner class ttl A IP_v4_address 例子: host1.example.microsoft.com. IN A 127.0.0.1 2.别名[CNAME] 描述: 用来表示用在该区域中的其它资源记录类型中已指定名称的替补或别名 DNS 域名。语法: owner...

挂载光驱时报错：wrong fs type,bad option,bad superblock

02-19

### 解决 Linux 挂载光驱 `wrong fs type, bad option, bad superblock` 错误当遇到挂载光驱时报错 `mount: wrong fs type, bad option, bad superblock` 的情况，通常是因为文件系统类型不匹配或缺少必要的支持工具。以下是详细的解决方案： #### 1. 确认设备和文件系统类型首先确认要挂载的光驱设备名称以及其使用的文件系统类型。可以使用命令来查看当前系统的块设备及其分区信息。 ```bash lsblk -f ``` 这会列出所有的存储设备及其对应的文件系统类型[^1]。 #### 2. 安装必要软件包如果尝试挂载的是 ISO9660 文件系统（常见于 CD/DVD），则可能需要安装相应的工具包。对于基于 Debian 或 Ubuntu 的发行版来说，可以通过以下方式安装： ```bash sudo apt-get update && sudo apt-get install iso9660-utils ``` 而对于 Red Hat/CentOS/Fedora 类型的操作系统，则应执行: ```bash sudo yum install isomd5sum ``` 这些工具提供了处理ISO9660格式所需的功能[^4]。 #### 3. 创建挂载点并手动指定文件系统类型创建一个新的目录作为挂载点，并通过显式指明文件系统类型来进行挂载操作。假设目标路径为 `/media/cdrom` ，那么具体做法如下所示： ```bash sudo mkdir -t iso9660 /dev/sr0 /media/cdrom/ ``` 这里 `-t iso9660` 参数用于告知系统所期望的具体文件系统种类；而 `/dev/sr0` 则代表第一个SCSI读取器设备节点名，实际环境中需根据实际情况调整此参数值[^3]。 #### 4. 查看日志获取更多信息如果上述方法仍然无法解决问题，建议查阅内核消息缓冲区中的最新条目以获得更详细的诊断数据： ```bash dmesg | tail ``` 该指令可以帮助识别是否存在其他潜在原因导致挂载失败的情况发生[^2]。