Python爬虫_乱码、转码

乱码问题描述

在爬取网页时，出现中文乱码情况，如下图：

原因：源网页编码和爬取下来后的编码格式不一致

利用encode和decode解决乱码问题

字符串在python内部的表示是Unicode编码，在做编码转换时，通常需要以Unicode作为中间编码，即先将其他编码的字符串解码（decode）成Unicode，再从Unicode编码（encode）成另一种编码

decode的作用是将其他编码的字符串转换成Unicode编码，如str1.decode(“gb2312”)，表示将gb2312编码的字符串str1转换成Unicode编码

encode的作用是将Unicode编码转换成其他编码的字符串，如str2.encode(“utf-8”)，表示将Unicode编码的字符串str2转换成utf-8编码

decode中写的是想爬取的源网页的编码，或者文本文件的编码，encode是自己想设置的编码

转码–bytes与str之间的互转

在bytes和str的互相转换过程中，实际就是编码解码的过程，必须显式地指定编码格式

str转bytes

h = "字符串str"
# h为字符串