详解Python爬虫请求模块Urllib及Requests库安装使用

只存在于虚拟的King

已于 2024-01-16 17:55:02 修改

阅读量1.3k

点赞数 20

文章标签： python 爬虫开发语言计算机网络学习经验分享前端

于 2023-12-09 11:36:27 首次发布

本文链接：https://blog.youkuaiyun.com/2301_80240808/article/details/134892701

版权

文章目录

在这里插入图片描述

一、Python爬虫请求模块有哪些？

Python中常用的爬虫请求模块有以下几种：

requests：requests是Python中使用最广泛的HTTP请求库，可以发送HTTP/HTTPS请求，同时支持Cookie、文件上传等功能。
urllib：urllib是Python内置的HTTP请求库，支持发送HTTP/HTTPS请求，可以设置请求头、代理等参数。
aiohttp：aiohttp是基于asyncio的异步HTTP请求库，适用于高并发场景，可以同时处理多个请求。
httplib：httplib是Python内置的HTTP请求库，可以发送HTTP/HTTPS请求，支持cookie和HTTPS证书验证等功能。

二、详细介绍一下requests和urllib

requests模块

requests是Python中最常用的HTTP请求库之一，它简化了HTTP请求的过程，提供了更加友好和直观的接口。

1.requests可以使用pip安装：

pip install requests

2.使用requests发送HTTP请求，一般需要以下步骤：

构造请求参数，如请求URL、请求头、请求体等。
发送HTTP请求，获取响应对象。
解析响应对象，提取所需信息。

3.以下是使用requests发送GET请求的示例代码：

import requests

url = 'http://www.wakey.com.cn/'
response = requests.get(url)
print(response.text)

以上代码中，我们首先构造了请求URL，然后调用requests.get()方法发送GET请求，获取响应对象response。最后，我们通过response.text属性获取响应内容，并打印出来。

4.以下是使用requests发送POST请求的示例代码：

import requests

url = 'http://www.wakey.com.cn'
data = {'username': 'test', 'password': '123456'}
response = requests.post(url, data=data)
print(response.text)

以上代码中，我们首先构造了请求URL和请求体，然后调用requests.post()方法发送POST请求，获取响应对象response。最后，我们通过response.text属性获取响应内容，并打印出来。

requests支持的HTTP请求方法有get、post、put、delete、head、options等。

urllib模块

urllib是Python内置的HTTP请求库，支持发送HTTP/HTTPS请求，可以设置请求头、代理等参数。

1.使用urllib发送HTTP请求，一般需要以下步骤：

构造请求参数，如请求URL、请求头、请求体等。
发送HTTP请求，获取响应对象。
解析响应对象，提取所需信息。

2.以下是使用urllib发送GET请求的示例代码：

from urllib import request

url = 'http://www.wakey.com.cn'
response = request.urlopen(url)
print(response.read())

以上代码中，我们首先构造了请求URL，然后调用urlopen()方法发送GET请求，获取响应对象response。最后，我们通过response.read()方法获取响应内容，并打印出来。

3.以下是使用urllib发送POST请求的示例代码：

from urllib import request, parse

url = 'http://www.wakey.com.cn'
data = {'username': 'test', 'password': '123456'}
data = parse.urlencode(data).encode('utf-8')
req = request.Request(url, data=data)
response = request.urlopen(req)
print(response.read())

以上代码中，我们首先构造了请求URL和请求体，然后使用parse.urlencode()方法将请求体编码为URL格式，再使用request.Request()方法构造请求对象。最后，调用urlopen()方法发送POST请求，获取响应对象response。最后，我们通过response.read()方法获取响应内容，并打印出来。

urllib支持的HTTP请求方法有urlopen、urlretrieve、Request等。其中，urlopen方法可以发送GET、POST、PUT、DELETE等请求。

三、requests和urllib对比，优劣势

requests和urllib都是Python中常用的HTTP请求库，它们在使用方式、功能特性、性能等方面都有一些差别。以下是两者的优劣势对比：

requests的优势

使用更加简单：requests提供了更加直观和友好的接口，使用更加方便。
功能更加完善：requests内置了Cookie、文件上传、会话维持等功能，能够满足大部分HTTP请求场景。
性能更高：requests使用C语言实现了部分关键模块，如解析器、连接池等，相比urllib能够更加高效地处理HTTP请求。

urllib的优势

内置Python标准库：urllib是Python标准库中的一部分，不需要额外安装依赖，使用更加方便。
功能更加灵活：urllib支持更多的HTTP请求方法，如HEAD、OPTIONS等，同时也支持更加灵活的请求参数设置。
兼容性更好：urllib能够更好地处理一些特殊的HTTP请求场景，如URL编码、重定向等。

requests和urllib都是Python中常用的HTTP请求库，使用时需要根据实际情况选择。如果要求使用简单、功能完善、性能高的HTTP请求库，可以选择requests；如果需要兼容性更好、功能更加灵活的HTTP请求库，可以选择urllib。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，希望提供给想学习 Python 的小伙伴们一点帮助！

保存图片微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

二、Python基础学习视频

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~在这里插入图片描述

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！
在这里插入图片描述
因篇幅有限，仅展示部分资料

三、精品Python学习书籍

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述

四、Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！
在这里插入图片描述

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！
在这里插入图片描述

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！
在这里插入图片描述

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
在这里插入图片描述

六、Python兼职渠道

而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。
在这里插入图片描述

这份完整版的Python全套学习资料已经上传优快云，朋友们如果需要可以保存图片微信扫描下方优快云官方认证二维码免费领取【保证100%免费】