python爬取网页的时11004错误

y363893017

已于 2023-09-04 15:12:47 修改

阅读量1.2w

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： python 爬虫 error11004

于 2017-09-04 22:17:30 首次发布

本文链接：https://blog.youkuaiyun.com/y363893017/article/details/77843280

本文记录了在Python爬虫过程中遇到的11004错误，作者通过检查URL是否存在并使用try-except来避免网络问题。在爬取图片时，对请求的图片URL进行了状态码检查，确保可以成功下载。最终，问题在urllib库中得到解决，代码适用于Python3.6.2环境。

# -*- coding;utf-8 -*- import requests import os # import urllib.request url = "http://pic.sogou.com/pics?"   def http_page(tag, page): par = [] for x in range(0, 48 * page + 48, 48): par.append({
 
 "query": tag,

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

y363893017

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

解决python pip 安装错误问题 Errno 11004

weixin_43129170的博客

01-12

3870

解决python 在使用pip命令安装时的errno 11004错误 dos pip install *** 报错如下： WARNING: Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by ‘NewConnectionError(’&l...

记录spacy安装英文包en出现E11004问题的解决方案

qq_39165421的博客

08-24

1763

记录spacy安装英文包en出现E11004问题的解决方案最近在学习nlp+pytorch时，需要下载一个spacy库以及英文包en，spcay库使用conda安装没有问题，命令在spacy官方就可以很容易找到。但是安装en包时，出现E11004的错误 Failed to establish a new connection: [Errno 11004] getaddrinfo failed. 问题的描述在E11004给出。但是并没有在该页面找到解决方案。困扰了我半天时间，现给出我自己的解决方案（可能不具

1 条评论您还未登录，请先登录后发表或查看评论

NLTK安装问题—— [Errno 11004] getaddrinfo failed（附详细安装过程）

m0_46388940的博客

10-13

4809

安装NLTK报错—— [Errno 11004] getaddrinfo failed(附详细安装教程)

python数据分析：[Errno 11004] getaddrinfo failed

Jinnnnnny的博客

06-08

1296

python数据分析：[Errno 11004] getaddrinfo failed 写这段代码开始出现报错参考https://blog.youkuaiyun.com/python__reported/article/details/105859937 博主的相同问题，发现是dns被屏蔽最后百度方法修改dns https://jingyan.baidu.com/article/2c8c281d6170630008252afb.html 问题解决、、、 [1]: https://blog.youkuaiyun.com/pyt

python爬虫之urlError异常处理

finna_xu的博客

03-29

8605

1.URLError URLError产生的原因： (1)网络无连接，即本机无法上网 (2)连接不到特定的服务器 (3)服务器不存在 import urllib.request import urllib.error from urllib.request import urlopen request=urllib.request.Request('http://www.xxxx

实例讲解Python爬取网页数据

09-20

根据提供的内容部分，可以总结出的Python爬取网页数据的知识点大致如上所述。由于技术原因或文档扫描问题，可能会有文字识别的偏差或遗漏，但不影响对核心知识点的理解和掌握。在编写自己的爬虫程序时，应结合具体的...

通过python爬取网页图片

09-12

本文将深入探讨如何使用Python来爬取网页中的图片，这是一个常见的任务，对于数据分析师、网站开发者或者任何需要大量图片资源的人来说都十分实用。首先，我们需要了解Python中的几个关键库，它们在爬虫开发中扮演...

如何用Python爬取网页上的信息

maoting666的博客

10-11

390

用Python爬取网页上的信息首先我们要明确自己要获取的内容是什么？在这里我们需要获取天气网里面的预报里面的信息，第一打开我们的F12开发者模式，找到我们需要的信息在哪个位置，然后我们需要爬取我们的网址和文本内容预报例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

python爬取网页时response.status_code返回418，文件读取写入

01-20

当我使用Python的requests爬取网页时response和soup都是None，检查后发现response.status_code为418 错误描述：经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I’m a teapot The ...

Python爬虫教程——入门五之URLError异常处理

华秋实的专栏

09-05

3428

大家好，本节在这里主要说的是URLError还有HTTPError，以及对它们的一些处理。1.URLError首先解释下URLError可能产生的原因：网络无连接，即本机无法上网连接不到特定的服务器服务器不存在在代码中，我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子，先感受下它的风骚import urllib2requset = urllib

《python数据分析基础》：[Errno 11004] getaddrinfo failed

最新发布

weixin_65156172的博客

06-21

1665

因为自动获取的 DNS 服务器，会出现问题网络连接问题，导致无法与自动获取的 DNS 服务器通信。而114.114.114.114 是一个常用的公共 DNS 服务器，具有较好的稳定性和可靠性，能够提供更准确和快速的域名解析服务。1、打开控制面板\网络和 Internet\网络和共享中心。错误，通常表示在尝试打开 URL 时发生了地址解析错误。2、点击连接：WLAN(...)3、点击属性，双击IPV4。

Python解决下载nltk语料库报11004错误

weixin_45994317的博客

07-09

3598

Python解决下载nltk语料库报11004错误之前一段时间做词云项目，要下载nltk语料库，但在下载语料库时出现报错11104。在网上看到很多种答案，第一个可能是路径的问题，第二个可能是证书的问题，第三个可能是服务器没响应的问题。但都没能解决到11104错误问题。后来自己在网上下载网友们分享出来的语料库包，解压到默认路径nltk_data文件夹里。首先输入下载代码：在Roaming文件夹下创建nltk_data文件夹，把下载的语料库包解压到nltk_data文件夹里，里面所有的压缩包全都压

python1004python_python urllib爬虫 Errorno 11004

weixin_39756416的博客

02-20

150

原帖地址：http://tieba.baidu.com/p/1492147931客户端程序：from socket import *HOST =' Stoneforest-PC 'PORT = 9999BUFSIZ = 1024ADDR = (HOST,PORT)tcpCliSock = socket(AF_INET,SOCK_STREAM)tcpCliSock.connect(ADDR)whil...

urllib.error.URLError: ＜urlopen error [Errno 11004] getaddrinfo failed＞

weixin_43847295的博客

02-08

2709

sns画箱型图时遇到的问题

python 安装库getaddrinfo failed_python 出现socket.gaierror: [Errno 11004] getaddrinfo failed错误...

weixin_35715440的博客

02-03

1765

python 出现socket.gaierror: [Errno 11004] getaddrinfo failed错误报错详情：…Traceback (most recent call last):File “D:/JiCaiZhuanTi/Case/All_run_test.py”, line 48, inSendEmail.send_file(new_repor)File “D:\JiCai...

python -m uiautomator2 init 报错_Python使用pdb调试第三方库

weixin_39698217的博客

12-20

229

最近使用Django的channel遇到第一个问题，python跑起来以后，直接报错：但代码出错的位置都在第三方库里，并且最后的报错信息又不详细，这让我非常郁闷，把环境反复折腾都没搞定这个问题。但折腾过程中学会了一种调试第三方库的办法，感觉还挺好的：方法比较简单，比如我上面报错信息有一个是在asyncioreactor.py：File "c:python38libsite-packagestwis...

python爬取网页信息 gui 项目

11-06

Python爬取网页信息的GUI项目可以通过以下步骤来实现： 1. 导入所需的模块：首先，我们需要导入Python的requests模块用于发送HTTP请求。同时，还需要导入BeautifulSoup模块用于解析HTML网页内容。 2. 设计GUI界面：可以使用Python的GUI库，如Tkinter或PyQt来设计用户界面。在界面中添加一个输入框用于输入要爬取的网页链接和一个按钮用于触发爬取事件。 3. 编写爬取代码：当用户点击爬取按钮时，程序将获取输入框中的网页链接，并使用requests模块发送GET请求来获取网页内容。然后，使用BeautifulSoup模块解析网页内容，提取所需的信息。 4. 显示爬取结果：将提取的信息在GUI界面中显示出来，可以使用文本框或表格等控件来展示。 5. 处理异常情况：在爬取过程中，可能会出现一些异常情况，比如网络连接失败或网页解析错误。我们需要添加异常处理机制，例如捕获异常并提示用户出错的信息。 6. 添加其它功能：可以根据需求添加其它功能，比如保存爬取结果到本地文件、实现多线程或异步爬取等。总结：Python爬取网页信息的GUI项目主要包括设计GUI界面、编写爬取代码、显示爬取结果和处理异常情况。通过以上步骤，我们可以实现一个简单实用的网页信息爬取程序，方便用户获取所需的数据。