大数据采集入门—网络爬虫技术—urllib库

最新推荐文章于 2025-04-23 11:01:09 发布

敲键盘的兔子

最新推荐文章于 2025-04-23 11:01:09 发布

阅读量717

点赞数

分类专栏： Java 文章标签： java json 大数据

本文链接：https://blog.youkuaiyun.com/m0_47396944/article/details/124496572

版权

本文介绍了Python的urllib库在网络请求中的应用，包括urlopen、urlretrieve、urlencode、parse_qs等关键函数的用法。还讨论了在处理中文参数时的quote()函数，以及如何通过request.Request()设置请求头来解决403错误。同时，提供了完整的网页爬取流程，并提及使用JSON库解析内容的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

urllib库

urlib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。
导入urlib库常用模块：

import urllib.request
import urllib.error
import urllib.parse

【常见函数】：

在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了

1、urlopen函数
打开链接，获取网页内容元素

url="http://wthrcdn.etouch.cn/weather_mini?city={}".format(city)
#打开网址，读取数据 返回http对象  默认为get请求
r=urllib.request.urlopen(url)
print(r.read())

详解：
（1）url：请求的网络url;
（2）data：请求的data，如果设置了这个值，那么将变成post请求。默认为get请求。
（3）返回值：返回值是一个http.client.HTTPResponse对象，这个对象是一个类文件句柄对象。有read(size)、readline、readlines以及getcode等方法。

2、urlretrieve函数
该函数可以方便的将网页上的一个文件保存到本地。

from urllib import request
request.urlretrieve('http://www.baidu.com/'

最低0.47元/天解锁文章