Python 3.6之urllib的变化（1）

最新推荐文章于 2021-03-25 20:05:04 发布
原创 最新推荐文章于 2021-03-25 20:05:04 发布 · 695 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#urllib #python3

本文详细介绍了Python中urllib模块的变化，从Python3开始urllib和urllib2已合并为新的urllib，并拆分为四个子模块：request、error、parse 和 robotparse。文中对比了不同版本间的语法差异，帮助读者更好地理解和应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

语法区别：

python3之后就没有了urllib和urllib2之说

urllib和urllib2合并后统称为urllib，其中包含urllib.request/urllib.erro/urllib.parse/urllib.robotparse

以下是两个版本的使用方法对比：

 

urllib/urllib2
urllib
urllib,urlencodeurllib.parse.urlencode
urllib.Requesturllib.request.Request
urllib.urlopenurllib.request.urlopen

新版内容：

urllib.request  可以用来发送request和获取request结果

urllib.error  包含了urllib.request产生的异常

urllib.parser  用来解释和处理URL

urllib.robotparse  用来解析解析页面的robots.txt文件





JonPia
关注
爬虫：Robots协议
二十四桥明月夜
11-29 2496
Robots 协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（ Robots Exclusion Protocol ），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取 它通常是一个叫作 robots.txt的文本文件，一般放在网站的根目录下 当搜索爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在 robots.txt 文件，如果存在， 搜索爬虫会根据其中定义的爬取范围来爬取， 如果没有找到这个文件，搜索爬虫便会访问所有可直接访问的页面： 看个robots.txt的样例： .
Python3 下找不到urllib2的问题
felcon的专栏
03-31 1万+
Python 3.* 用urllib.request来代替原来的urllib2，因此调用的时候改为： >>> import urllib.request   >>> urllib.request.urlopen('http://www.baidu.com') 如 https://www.python.org/dev/peps/pep-3108/#urllib-package
python3.6之urllib模块代理实现
qq5132834的专栏
01-01 2596
1.代理服务器地址选择网址：http://www.xicidaili.com import urllib.request #代理服务器网址 "http://www.xicidaili.com" proxy_handler = urllib.request.ProxyHandler({'http': '120.32.208.16:8118'}) opener = urllib.req
python3.6使用 urllib完成下载
ForestCat的专栏
10-18 1886
url = u'http://tieba.baidu.com/f?kw=权利的游戏&ie=utf-8&pn=50' url = quote(url, safe = string.printable) response=urllib.request.urlopen( url ) response.read()
python3安装urllib3库_关于python：在Python3.6中安装urllib
weixin_39604045的博客
11-23 863
我想导入urllib以使用功能"请求"。 但是，尝试这样做时遇到错误。 我尝试了pip install urllib，但仍然遇到相同的错误。 我正在使用Python 3.6。 真的感谢任何帮助。我确实使用以下代码导入urllib.request：12345678import urllib.request, urllib.parse, urllib.errorfhand = urllib.reque...
Python 3.6模块学习urllib的urllib.request.urlopen（）函数学习
LadonDU的博客
07-28 1万+
Python中的urllib提供了一系列用于操作URL的功能。包含urllib.request,urllib.error,urllib.parse,urllib.robotparser四个子模块。 本文说的是urllib.request.urlopen()函数所涉及的知识
python3.6使用urllib完成下载的实例
09-19
在Python编程语言中，`urllib`库是一个用于处理URL的模块，它包含了多个子模块，如`request`、`error`、`parse`等，分别用于不同的URL操作。在这个实例中，我们将专注于使用`urllib.request`来完成文件的下载任务。...
python 3.6 tkinter+urllib+json实现火车车次信息查询功能
09-20
### Python 3.6 使用 Tkinter + urllib + JSON 实现火车车次信息查询功能 #### 概述 本文介绍了一种使用 Python 3.6 的 Tkinter 库结合 urllib 和 JSON 来实现火车车次信息查询的方法。此方法主要用于帮助用户快速...
Python3.6通过自带的urllib通过get或post方法请求url的实例
09-20
Python 3.6版本自带的urllib库包含了多个子模块，例如urllib.request用于打开和读取URLs，urllib.error用于处理与请求相关的错误，urllib.parse用于解析URLs等。本文将详细介绍如何使用Python 3.6的urllib库中的...
Python urllib – Python 3 urllib
从零开始的教程世界
07-15 241
Python urllib module allows us to access URL data programmatically. Python urllib模块允许我们以编程方式访问URL数据。 Python URLlib (Python urllib) We can use Python urllib to get website content in python program. ...
python3中有urllib2吗_python3.5中没有urllib2怎么处理？
weixin_39974958的博客
01-29 299
python urllib2模块 在哪里下载?一般使用在python下的模块去哪里下载的.我找了好久,没发现有下载模块的urllib2是python自带的模块，不需要下载。 urllib2在python3.x中被改为urllib.request为什么我下载的Python3.6，urllib包里面没有urlope为什么我下载的Python3.6，urllib包里面没有urlopen方法import ...
Python3.6通过自带的urllib通过get或post方法请求url
qq5132834的专栏
12-26 3万+
Python3.6通过自带的urllib通过get或post方法请求url # coding:utf-8 from urllib import request from urllib import parse url = "http://10.1.2.151/ctower-mall-c/sys/login/login.do" data = {"id":"wdb","pwd":"w
Python 3.6 实现简单的爬虫
jopen的博客
04-05 1万+
Python最简单的爬取网页实现
python version 3.6 does not support a 'ur' prefix
brandday的博客
09-24 2604
http://bugs.python.org/issue15096 Drop support for the “ur” string prefix When PEP 414 restored support for explicit Unicode literals in Python 3, the “ur” string prefix was deemed to be a synonym for...
在python3.3后urllib2已经不能再用，全部用urllib.request来代替
x_ym的博客
02-24 1万+
把import和代码中的urllib2全部换成urllib.request，即可。可以查看网文：https://www.cnblogs.com/to-creat/p/6438280.html
python3.6.1使用,Python3.6.1:即使使用urllib.parse.urlencode()
weixin_30140093的博客
03-25 167
我对Python比较陌生，使用的是3.6.1版我希望我可以用HMAC-SHA512为poloniex trading api编写python3.6.1post请求的代码，但是得到了这个错误。我得到的答案大多来自python2，这不是我想要的。请帮忙。我的python shell日志首先：{'command': 'returnBalances', 'nonce': 1492523610}comman...
Python中的urllib.request模块
热门推荐
学愈进而愈惘
08-25 7万+
因为在玩Python challenge的时候，有用过这个模块，而且学习这个模块之后也对系统学习网络爬虫有用。当时查了各种资料学习，没有碰官网文档（因为还是对英语有抗拒性），但是还是官方的文档最具权威和学习价值，因此想要此次翻译官方文档的同时，锻炼自己的英语能力，也对urllib模块加深理解。因为是为了自己复习起来方便~所以就不一句英语一句中文的对照着翻了，有兴趣看原版的，自己点官方文档吧~翻译不足
python读取robot文件内容_Python robotparser 网络蜘蛛robots.txt搜索访问控制
weixin_39723678的博客
11-26 490
robotparser是一个专门用来解析网站的robots.txt文本文件的Python模块。robotparser支持Python2.1.3之后版本，建议大家安装Python2.7.5版本。robotparser为robots.txt文件实现了一个解释器，可以用来读取robots文本的格式和内容，用函数方法检查给定的User-Agent是否可以访问相应的网站资源。如果要编写一个网络蜘蛛，这个模块...
Python 3.7.1 模块 urllib.request
百年da孤独 的专栏
12-19 6738
目录1. 功能urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) 源代码： Lib / urllib / request.py 此模块定义了有助于在现实环境中打开URL（主要是HTTP）的函数和类 - 基本和摘要式身份验证，重定向...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值