urllib2.urlopen(url).read() vs requests.get(url).content

最新推荐文章于 2023-02-15 16:07:54 发布
原创 最新推荐文章于 2023-02-15 16:07:54 发布 · 5.2k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python-requests

本文通过一个小爬虫案例比较了requests库与urllib2库在获取网页内容时的稳定性和易用性差异。作者发现使用requests.get(url).content方法相比urllib2.urlopen(url).read()更加稳定，且未出现HTTP 500错误。

这两天谢了一个小爬虫，很肾虚啊；

刚开始使用的是urllib2.urlopen(url).read()  ，程序不大就会报错：urllib2.HTTPError: HTTP Error 500: Internal Server Error;

后来试了一下requests.get(url).content， 一次都没报错，擦啊，这算什么事。。。。



urllib2.urlopen(url).read()输出上 requests.get(url).content是一样的，但是性能与稳定性肯定是不同的，而且requests模块用于带账户密码网页的登陆也很方便。值得学习使用。


Python——深入理解urllib、urllib2及requests（requests不建议使用？）
Null的博客
07-18 2万+
在python中有两种方式可以发送http请求： 通过python自带的urllib模块，不需要安装，直接from urllib import request，直接使用request对象做Http请求的发送。 通过第三方的requests模块，需要pip install安装（推荐，因为API人性化） urllib and urllib2 区别 urllib和urllib2模块都做与请求URL...
爬虫学习：网络请求库
qq_55038440的博客
05-01 1924
res = resquests.get(url,**kwargs)或res = resquests.post(url,**kwargs)# headers:指定发起的HTTP请求的头部信息,此为字典,还可以add_header()添加。# method:发起HTTP请求方式,有GET,POST,DELETE,PUT等。例：params = {'keyword': 'python', 'page': '1'}例：fs={'files':open('data.txt','rb'}
python的urllib模块_Python网络编程中urllib2模块的用法总结
weixin_39594312的博客
11-24 244
一、最基础的应用import urllib2url = r'http://www.baidu.com'html = urllib2.urlopen(url).read()print html客户端与服务器端通过request与response来沟通，客户端先向服务端发送request，然后接收服务端返回的responseurllib2提供了request的类，可以让用户在发送请求前先构造一个req...
requests.get(img_url).content
weixin_35750953的博客
01-05 779
request.get(img_url).content 是用来获取指定URL地址的图像内容的。 其中，requests 是一个第三方库，可以用来发送 HTTP 请求。get 方法是用来发送 HTTP GET 请求的。img_url 是图像的URL地址。.content 属性是用来获取响应内容的，返回的是二进制数据。 例如，如果你想获取一张网络图像并保存到本地，可以这样写： import requ...
python中执行url的两种方法urllib和request
qq_42609381的博客
09-05 2507
python中使用urllib方法调用url是比较基础的方式，有些环境中没有request时，可以采用此方式。不过个人认为request方式更简单方便一些。 import urllib import urllib2 import json def fun_post(url, body): headers = {'content-type': 'application/json', 'Acce...
深入理解urllib、urllib2及requests
weixin_30530339的博客
05-04 854
Python 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年，Python 源代码同样遵循 GPL(GNU General Public License)协议[1] 。Python语法简洁而清晰，具有丰富和强大的类库。 urllib and urllib2 区别 urllib和urllib2模块都做与请求URL...
python3关于urllib中urlopen报错问题的解决
热门推荐
pythonniu的博客
07-07 5万+
00x0 前言    最近更新了python版本，准备写个爬虫，意外的发现urllib库中属性不存在urlopen，于是各种google，然后总结一下给出解决方案   00x1 问题的出现    AttributeError: 'module' object has no attribute 'urlopen' 00x2 问题的解决途径     我们先来看下官方文档的
json.loads(urllib.request.urlopen(req).read())
最新发布
08-21
我们使用urllib库来发送HTTP请求，并解析返回的JSON数据。主要步骤包括： 1. 使用urllib.request.urlopen...> 提示：对于复杂项目，建议使用更高级的`requests`库，但`urllib`是Python标准库，无需额外安装[^1][^2]。
GET一个URL：>>> import urllib2>>> f = urllib2.urlopen('http://www.python.org/')>>> print f.read()123使用基本的HTTP认证:
12-19
在Python中，如果你需要通过GET请求访问一个URL，并且需要进行基本的HTTP认证，可以使用`urllib.request`模块的`urlopen()`函数配合`addheaders`参数。首先安装`requests`库（如果尚未安装），因为它更易用： ```...
Python3网络爬虫进阶：使用urllib.urlopen与有道翻译API交互
`urlopen`返回的响应对象提供了许多有用的方法，如`read()`用于获取响应的原始数据，`geturl()`返回请求的URL，`info()`提供HTTP头信息，而`getcode()`返回HTTP状态码，200表示请求成功。了解这些方法可以帮助我们更...
python urllib 函数_python函数深入浅出 14.urllib.urlopen(url).read()函数详解
weixin_39720003的博客
02-09 1304
1.函数名及其来源这是python内置的一个网络请求模块，无需安装即可使用一般来说爬虫更为常用的是requests库。通常写法如下：import urllibresponse = urllib.request.urlopen('https://www.python.org')print(response.read())复制代码这里简单解释下我们请求一个网页信息的过程。通常我们使用浏览器请求一个网址...
requests.get和urlopen的比较（通俗易懂）
qq_41845823的博客
08-08 4182
requests.get和urlopen的比较 urlopen详解见：https://blog.csdn.net/qq_41845823/article/details/119465293 requests.get详解见：https://blog.csdn.net/qq_41845823/article/details/119516178 urlopen简介 urlopen是urllib库中的一个方法，简单用法为urllib.request.urlopen(url)，返回的是一个http.client.H
python urllib模块的urlopen()的使用方法
QQ_2642160196的博客
07-10 2508
Python urllib 库提供了一个从指定的 URL 地址获取网页数据，然后对其进行分析处理，获取想要的数据。 1、urllib模块urlopen()函数： urlopen(url, data=None, proxies=None) 它可以创建一个表示远程url的类文件对象，然后我们可以像对本地文件一样，用同样的方法去操作这个类文件对象以此获取远程数据。 参数url表示远程数据的路径，一般是网...
python中urllib2用法_python的urllib2包基本使用方法
weixin_39601657的博客
12-22 1014
1. urllib2.urlopen(request)url="http://www.baidu.com"#url还可以是其他协议的路径，比如ftpvalues={'name':'MichaelFoord','location':'Northampton',language':'Python'}data=urllib.urlencode(values)user_ag...
php get url content,PHP的通过CURL或file_get_contents请求第三方URL
weixin_39991531的博客
03-11 410
CURL：//访问网页数据publicfunction get_web_content($url, $curl_data){$options = array(CURLOPT_RETURNTRANSFER => true, // return web pageCURLOPT_HEADER => false, // don't return h...
python之urllib2的用法
m0_37549390的博客
05-22 880
urllib2定义的函数： 1、urllib2.urlopen(url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]]) 用来发送request请求，现在我只用到了前两个参数，后边几个参数后面慢慢了解以后再来谈论 1.1 使用urllib2.urlopen(url) 向web服务提交GET请求 1.2 使用urlib2.u...
requests.get与urllib.request.urlopen的使用
qq_43255478的博客
02-15 459
requests.get与urllib.request.urlopen的使用
PHP http(file_get_content) GET与POST请求方式
chaoping315的专栏
02-09 1万+
1.GET方式请求 [php] view plaincopy           $data = array('sParam1'=>'test1','sParam2'=>101,'isAuto'=>1);  //定义参数             $data = @http_build_query($data);  //把参数转换成URL数据  
python的urllib2包基本使用方法
weixin_33759269的博客
09-07 215
【另附】：python笔记系列1. urllib2.urlopen(request)url="http://www.baidu.com" #url还可以是其他协议的路径，比如ftp values={'name':'MichaelFoord','location':'Northampton',language':'Python'} data=...
Python中urllib.request.urlopen()的使用详解
`urllib.request.urlopen()` 是 Python 标准库 `urllib` 中的核心函数之一，广泛应用于网络编程和数据抓取领域。该方法主要用于打开指定的 URL 并返回一个类文件对象（即响应对象），开发者可以通过该对象读取服务器...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值