python爬虫（2） urllib库

最新推荐文章于 2024-09-27 09:41:28 发布

原创最新推荐文章于 2024-09-27 09:41:28 发布 · 253 阅读

0 ·

CC 4.0 BY-SA版权

python 同时被 2 个专栏收录

12 篇文章

订阅专栏

爬虫

3 篇文章

订阅专栏

本文介绍如何使用Python3的urllib库进行简单的网页爬取。通过实例演示了请求网页、读取响应数据并将其解码的过程。文章还展示了如何使用PyCharm环境运行代码。

urllib库是很常用的解析网络资源的库，python3之后就没有了urllib和urllib2的区分，urllib和urllib2合并后统称为urllib，其中包含urllib.request/urllib.erro/urllib.parse/urllib.robotparse

以下是两个版本的使用方法对比：

urllib/urllib2	urllib
urllib.urlencode	urllib.parse.urlencode
urllib.Request	urllib.request.Request
urllib.urlopen	urllib.request.urlopen

现用python3+pycharm 实现简单的网页爬取

import urllib.request
url = "http://www.baidu.com"
response = urllib.request.urlopen(url)
data = response.read()
data= response.decode('urf-8')
print(data)

输出结果：

<html>

    ******

</html>

从结果上看可以把网页内容抓取下来。
分步骤看一下类型：

>>> import urllib.request
>>> url = "http://www.baidu.com"
>>> response = urllib.request.urlopen(url)
>>> type(response)
<class 'http.client.HTTPResponse'>
>>> data = response.read()
>>> type(data)
<class 'bytes'>
>>> data = data.decode('utf-8')
>>> type(data)
<class 'str'>
>>>