爬虫【1】打开网站，获取信息

最新推荐文章于 2024-09-12 23:06:08 发布

原创最新推荐文章于 2024-09-12 23:06:08 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

爬虫专栏收录该内容

12 篇文章

订阅专栏

本文介绍如何利用Python的urllib库进行基本的网络爬虫操作，包括发送请求、获取响应及读取网页内容。通过示例代码讲解了如何访问百度首页并解析其HTML结构。

爬虫【1】打开网站，获取信息

如何向网站发起请求并获取响应对象？

urllib.request.urlopen

作用

向网站发起请求并获取响应对象

参数

url：需要爬取的URL地址
timeout: 设置等待超时时间,指定时间内未得到响应抛出超时异常

第一个爬虫程序

打开浏览器，输入百度地址(http://www.baidu.com/)，得到百度的响应

import urllib.request

# urlopen() ： 向URL发请求,返回响应对象
response=urllib.request.urlopen('http://www.baidu.com/')
# 提取响应内容
html = response.read().decode('utf-8')
# 打印响应内容
print(html)

响应对象（response）方法

1、bytes = response.read() # read()得到结果为 bytes 数据类型
2、string = response.read().decode() # decode() 转为 string 数据类型
3、url = response.geturl() # 返回实际数据的URL地址
4、code = response.getcode() # 返回HTTP响应码
# 补充
5、string.encode() # bytes -> string
6、bytes.decode()  # string -> bytes