Handler处理器、自定义Opener

最新推荐文章于 2020-04-21 20:58:21 发布

半日闲12138

最新推荐文章于 2020-04-21 20:58:21 发布

阅读量162

点赞数

分类专栏：爬虫文章标签：爬虫学习

本文链接：https://blog.youkuaiyun.com/feiYu12138/article/details/102619297

版权

爬虫专栏收录该内容

17 篇文章

订阅专栏

在请求里面，还有两个高级功能，一个是代理，一个是cookie，学习handler和opener使用的步骤: 见代码

# coding: utf-8
import sys
import io
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='gb18030')

import urllib.request

url = 'http://www.baidu.com/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
}
request = urllib.request.Request(url=url, headers=headers)

handler = urllib.request.HTTPHandler()

opener = urllib.request.build_opener(handler)

response = opener.open(request)

concent = response.read().decode("utf-8")
# print(type(concent))

print(concent)

报错：UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 30892: illegal multibyte sequence

解决：改变标准输出的默认编码
在程序的开始加入以下代码：
import sys
import io
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='gb18030')
即可