爬虫【1】打开网站，获取信息

爬虫【1】打开网站，获取信息

如何向网站发起请求并获取响应对象？

urllib.request.urlopen

• 作用

向网站发起请求并获取响应对象

• 参数

url：需要爬取的URL地址
timeout: 设置等待超时时间,指定时间内未得到响应抛出超时异常

• 第一个爬虫程序

打开浏览器，输入百度地址(http://www.baidu.com/)，得到百度的响应

import urllib.request

# urlopen() ： 向URL发请求,返回响应对象
response=urllib.request.urlopen('http://www.baidu.com/')
# 提取响应内容
html = response.read().decode('utf-8')
# 打印响应内容
print(html)

• 响应对象（response）方法

1、bytes = response.read() # read()得到结果为 bytes 数据类型
2、string = response.read().decode() # decode() 转为 string 数据类型
3、url = response.geturl() # 返回实际数据的URL地址
4、code = response.getcode() # 返回HTTP响应码
# 补充
5、string.encode() # bytes -> string
6、bytes.decode()  # string -> bytes