Scrapy 在CentOS6.5上跑遇到DNSLookupError

最新推荐文章于 2024-02-23 09:56:45 发布
原创 最新推荐文章于 2024-02-23 09:56:45 发布 · 2.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种在CentOS6.5中遇到DNS错误的问题及其解决办法。通过修改/etc/resolv.conf文件并添加新的DNS服务器地址（如8.8.8.8、8.8.4.4和114.114.114.114），成功解决了爬虫程序运行时出现的DNS解析失败问题。
部署运行你感兴趣的模型镜像

问题：
爬虫代码昨天在CentOS6.5上还能跑，今天再跑却遇到DNS错误：

twisted.internet.error.DNSLookupError: DNS lookup failed: no results for hostname lookup: www.mytestorg.org.cn.

排查：
ping www.mytestorg.org.cn 不通

解决：
编辑/etc/resolv.conf
增加8.8.8.8和8.8.4.4以及114.114.114.114
保存

解决

参考：
https://blog.youkuaiyun.com/zd8582zd/article/details/49070049

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

关于Python爬虫Scrapy在高并发下DNS查找失败解决方案
weixin_43667643的博客
08-15 2085
使用场景:检测80w URL 可否打开 配置:高端配置,20+进程 500+CONCURRENT_REQUESTS 运行一段时间后会有DNSLookup什么的错误,也就是查找超时,但是在浏览器里可以打开这个网页 首先做一些可能的无用功,爬虫配置 : ‘COOKIES_ENABLED’: False, ‘RETRY_ENABLED’: False,‘DNS_TIMEOUT’: 60, 再配置可能的...
centos8.2 下安装scrapy + selenium爬虫框架
09-27 688
centos8.2 下安装scrapy + selenium 一、安装前准备 yum -y groupinstall "Development tools" 二、安装python centos8.2 自带python3.6 和pip3 whereis python pip3 --version 如果没有安装运行下面命令安装 dnf -y install python36 三、配置pip源 1. 创建pip.conf文件 首先进入到.pip目录下 cd ~/.pip 如果.pip目录不存在，则手工创建一个
解决问题twisted.internet.error.DNSLookupError: DNS lookup failed: address 'none' not found: [Errno 8] no
qq_41174897的博客
05-07 4660
twisted.internet.error.DNSLookupError: DNS lookup failed: address 'none' not found: [Errno 8] nodena...相关错误，这是 这是Scrapy在运行的时候出现的问题，看了很多解决方案。我自己的问题是出在中间件的代理设置，自己设置的代理池出现了问题。测试可以看到，如果不使用代理是不会报错的。那么问题肯定...
scrapy报错[DNS lookup failed]
NUT_0的博客
08-01 839
[scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying (failed 3 times): DNS lookup failed: no results for hostname lookup: xxx.xxx.comscrapy 运行报以上错误，异常捕获不了，网页本来都不能访问！
scrapy DNS lookup failed: no results for hostname lookup
徐代龙的技术专栏
03-03 8012
版权声明： 更多最新原创文章请访问：最新原创主页 更多最全原创文章请访问：更多原创主页 DNS lookup failed 问题 第一天还可以正常跑起来的代码，第二天就跑不起来了。 scrapy 中： 解决方法： ...
使用scrapy运行爬虫是报错DNS lookup failed:no results for hostname lookup
热门推荐
stay hungry ! stay foolish!
09-10 1万+
         使用scrapy运行爬虫是报错DNS lookup failed:no results for hostname lookup   转载：https://blog.csdn.net/lxq_9532/article/details/81514518   *修改setting.py文件，将ROBOTSTXT_OBEY = True  改为False*** 补充：观察代码...
CentOS 6.5 安装python2.7 & scrapy 框架
07-14
在本文中，我们将深入探讨如何在CentOS 6.5操作系统上安装Python 2.7以及Scrapy框架。首先，让我们了解这两个关键组件。 **Python 2.7** Python是一种高级编程语言，以其易读性、简洁的语法和丰富的库支持而闻名。...
CentOS 6.5上Python2.7与Scrapy框架的完整安装指南
在介绍如何在CentOS 6.5 64位系统上安装Python 2.7和Scrapy框架之前，需要理解几个关键技术点：操作系统环境、Python编程语言、Scrapy框架的基本概念和它们在CentOS系统上的安装与配置方法。 首先，操作系统环境...
Centos7 Python3下安装scrapy的详细步骤
09-20
在CentOS7上安装Python3和Scrapy框架的详细步骤是一项必要的任务，特别是对于那些希望在该操作系统上进行网络爬虫开发的用户。以下是一份详细的安装指南： 首先，确保你的系统已经更新到最新版本，并且安装了必要的...
精选资源
CentOS7下安装Scrapy步骤详细介绍
01-10
CentOS7下安装Scrapy步骤详细介绍 更新yum [root@localhost ~]# yum -y update 安装gcc及扩展包 [root@localhost ~]# yum install gcc libffi-devel python-devel openssl-devel 安装开发工具包 [root@localhost ...
502 Fiddler - DNS Lookup Failed
xmind果果
01-11 6503
问题 使用git下载时提示 http://yugsh@119.191.58.20:8880/r/zfcc/yt_finance_system.git: 502 Fiddler - DNS Lookup Failed http://yugsh@119.191.58.20:8880/r/zfcc/yt_finance_system.git: 502 Fiddler - DNS Lookup Fa...
scrapy中出现DNS lookup failed:no results for hostname lookup:网址
weixin_44274975的博客
03-07 8597
1.出现这种错误的原因是因为：scrapy genspider 爬虫名，网址名 这步骤当中网址名写错的原因
【postman】用postman代理访问https协议的网址报“DNS Lookup failed. You can find more information in the logs
weixin_52462535的博客
04-23 1654
    近日使用postman代理访问公司的系统（https）时报“DNS Lookup failed. You can find more information in the logs (View > Developer > View Logs in Finder/Explorer)”。如下图所示：     根据IE浏览器的提示，在postman查看     进入到log文件位置，查看man.log文件，发现增加了如下行： [12520][1619140645084][main][err
twisted.internet.error.DNSLookupError: DNS lookup failed: address "'http:" not found: [Errno 11001] ...
weixin_30692143的博客
11-02 2145
C:\Users\wuzhi_000\Desktop\tutorial>scrapy shell 'http://quotes.toscrape.com' 2016-11-02 14:59:11 [scrapy] INFO: Scrapy 1.2.1 started (bot: tutorial) 2016-11-02 14:59:11 [scrapy] INFO: Overridd...
如何解决DNS解析错误故障
最新发布
lelelelele12的博客
02-23 3032
DNS解析故障。最常见的症状是访问站点对应的IP地址没有问题，但访问其域名时却出现错误，可以手动判断错误，也可以使用百川云网站监测自动发现解析错误
使用Scrapy遇到的问题
梦想是很难很难的，所以先勇敢一点
02-18 3259
twisted.internet.error.TimeoutError 请求超时 在使用 scapy 进行大批量爬取的时候，少数请求链接会出现请求超时，当出现请求超时时，爬虫会自动重试三次。 可以 通过 设置 RETRY_ENABLED = False 来关闭重试机制 若超过 180s 且三次后且还是没有得到数据，就会出现 twisted.internet.error.TimeoutError 错误。 超时时间可以通过DOWNLOAD_TIMEOUT设置 解决办法 降低同时请求的数量 CONCURRE
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值