python爬虫urllib库的使用的问题

最新推荐文章于 2021-06-07 16:41:15 发布
最新推荐文章于 2021-06-07 16:41:15 发布
阅读量206 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a13697013326/article/details/85040215
博主在使用urllib库尝试爬取12306网站时遇到解码后页面空白的问题，但爬取python官网则正常。之前使用request库时未出现此问题，引发对urllib库效能的疑问。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

   最近借了几本爬虫的书，了解了urllib库的基本用法，但是却出现了这个问题，如图

   

    运用urllib库请求12306解码后下面空了一行，啥都没出现，但是如果爬取python官网却可以出现爬取的代码。不知道为什么会有这种情况。

  但是之前我运用request库却能爬出来，难道说urllib库不行？

 

Python 爬虫入门（六）：urllib库的使用方法
blues_C的博客
08-04 2225
欢迎来到"Python 爬虫入门"系列的第六篇文章。今天我们来学习Python标准库中的urllib,这是一个用于处理URL的强大工具包。urllib是Python内置的HTTP请求库,不需要额外安装,就可以直接使用。它提供了一系列用于操作URL的函数和类,可以用来发送请求、处理响应、解析URL等。
Python常用模块 之 urllib&&urllib3 【爬虫库】
孤寒者的博客
09-15 10万+
Python常用模块 之 urllib&&urllib3 【爬虫库】
带有headers的urllib库爬取
weixin_30919571的博客
03-10 271
#请求头 #1、引入模块 from urllib import request #2、操作 #(1)定义目标url base_url = "http://www.langlang2017.com/index.html" #请求头部---request headers headers = { "Accept":"text/html,app...
python3中urllib不能用的问题解决
old__tree的博客
04-09 8323
    很多初学者在学习python3的web开发时，避免不了要使用urllib这个强大的包，但肯定很多人都会出现这样的问题，导入urllib包后无法使用。如下图：       其实可以在F:\python36\Lib\urllib文件下发现urllib的__init__.py（初始化函数）是空的，所以当导入urllib时无法使用。只能导入urllib相应的模块。正确的用法应该是：    ...
pyCharm 没有urllib包
0729Liang
04-14 1万+
其实不是没有，而是python3中自带了，不需要pip 或者importpyCharm 导入urllib为灰色；pyCharm import urllib为灰色；variable "__init__.py" Inferred type: __init__.pyUnused import statement less... (Ctrl+F1) This inspection detects name...
3 静态网页爬取①urllib3库实现爬取
lue_lue_lue_的博客
08-01 1851
3 静态网页爬取3.1 介绍静态网页爬虫的基本流程3.2 使用urllib3库实现爬取1.生成请求2.请求头处理3. Timeout设置4.请求重试设置5. 生成完整HTTP请求6.完整代码 3.1 介绍 静态网页 在网站设计中，纯粹HTML（标准通用标记语言下的一个应用）格式的网页通常被称为“静态网页”，静态网页是标准的HTML文件，它的文件扩展名是.htm、.html，可以包含文本、图像、声音、FLASH动画、客户端脚本和ActiveX控件及JAVA小程序等。 静态网页是网站建设的基础，早期的网站一
python3安装urllib3库_PyCharm 无法导入第三方库 No module named urllib3-搜云库
weixin_39927848的博客
11-23 3784
Urllib3是一个功能强大,条理清晰,用于HTTP客户端的Python库。我们在Pycharm编辑器新建的项目中如果发现无法使用urllib3库时，可以做以下操作：错误提示如下：我们在pycharm项目的lib的site-packages里面也找不到这个urllib3文件。那么，我们继续操作：1、先确认urllib3是否已经在电脑上安装，如果没有安装则通过cmd命令里面的：pip install...
Python爬虫之urllib库
12-22
  urllib库是Python内置的请求库，能够实现简单的页面爬取功能。值得注意的是，在Python2中，有urllib和urllib2两个库来实现请求的发送。但在Python3中，就只有urllib库了。由于现在普遍流行只用Python3了，所以...
python爬虫 urllib模块发起post请求过程解析
09-18
这个过程对于理解和实践Python爬虫中的POST请求至关重要，也是爬虫开发中的一项基础技能。在实际应用中，可能需要处理更复杂的请求头、cookies等，但基本的POST请求步骤是相似的。希望这个例子能帮助你更好地理解...
Python爬虫 urllib2的使用方法详解
01-20
urllib2是Python2.x自带的模块(不需要下载，导入即可使用) urllib2官网文档：https://docs.python.org/2/library/urllib2.html urllib2源码 urllib2在python3.x中被改为urllib.request urlopen 我们先来段代码： ...
关于python安装中踩的坑，运行时找不到URLlib3
bingcui的博客
06-07 9007
更换了电脑以后，重新安装python，运行脚本时，报错，提示找不到urllib3的库。见下图
anaconda3发现urllib是空的
心有猛虎 细嗅蔷薇
07-22 1365
一开始的时候，会发现报错没有这个request   我们在import里面引用一下  
在python3版本使用urllib做爬虫实例遇到的问题
maccoo的博客
05-13 383
本文主要实现一个简单的爬虫，目的是从一个百度贴吧页面下载图片。下载图片的步骤如下： 1、获取网页html文本内容； 2、分析html中图片的html标签特征，用正则解析出所有的图片url链接列表； 3、根据图片的url链接列表将图片下载到本地文件夹中。 #!/usr/bin/python # coding:utf-8 # 实现一个简单的爬虫，爬取百度贴吧图片 import urllib import re # 根据url获取网页html内容 def getHtmlContent(url):
python爬虫常见异常及处理方法
woyaojinqu的专栏
10-05 1万+
欢迎使用Markdown编辑器写博客在编写python爬虫时经常会遇到异常中断的情况，导致爬虫意外终止，一个理想的爬虫应该能够在遇到这些异常时继续运行。下面就谈谈这几种常见异常及其处理方法： 异常1：requests.exceptions.ProxyError 对于这个错误，stackoverflow给出的解释是 The ProxyError exception is not actual
Python爬虫（三）——URLError和HTTPError异常处理
浅然的专栏
11-01 2万+
一、URLError造成原因 本地网络未连接 服务器不存在 连接不到特点的服务器 既然异常处理就会使用到try/except，下面简单介绍try/except捕获异常二、try/except异常捕获使用try/except来捕捉异常检测try语句块中的错误，从而让except语句捕获异常信息并且处理，当然如果不想在异常发生使结束程序，可以只用try来捕获三、简单的URLError比如下面是我在本机断
Python3网络爬虫(三)：urllib.error异常
Jack-Cui
03-02 6万+
运行平台：Windows Python版本：Python3.x IDE：Sublime text3 转载请注明作者和出处：http://blog.youkuaiyun.com/c406495762/article/details/59488464
如何解决urllib.request找不到问题
syh_486_007的专栏
02-11 1万+
python 3.x中urllib库和urilib2库合并成了urllib库， 其中urllib2.urlopen()变成了urllib.request.urlopen() urllib2.Request()变成了urllib.request.Request() 因此，python3.x得版本中可以使用urllib.request库； 但是在python2.7的库中，还是得使用urllib2.u
urllib异常处理中HTTPError和URLError混用的注意事项
吴芒果的博客
09-25 3722
运行环境:Python 3.6、Pycharm 2017.2 Python中写爬虫程序时，可以使用urllib.error来接收urllib.request产生的异常。urllib.error有两个方法，URLError和HTTPError。注意事项如果在urllib.request产生异常时，用HTTPError和URLError一起捕获异常，那么需要将HTTPError放在URLError的前面
关于python爬虫页面解码问题
c1412732094的博客
03-25 1207
简介 在写爬虫时候碰到了解码爬取到的页面问题，困惑了好久。记录在这里一下，以便以后自己再次碰到相同问题。 问题如下 本人使用python3爬取一本小说时，获取网页url后进行解析时，在采用decode(‘utf-8’)解码时出现了utf-8无法解码的问题，出现了如下提示： UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in pos...
深入理解Python爬虫的urllib库应用
我们知道该压缩包中应该包含了标题为“Python爬虫（二）urllib库”的文件，这个文件很可能包含了有关urllib库在Python爬虫中运用的详细教程、代码示例、最佳实践和可能遇到的问题解决方案。 由于压缩包的具体内容...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值