Python3.6中对爬取网页中的"/XBB"的处理

本文链接：https://blog.youkuaiyun.com/u013550998/article/details/81149580

在Python3.6中爬取网页时遇到UnicodeEncodeError，原因是BOM（Byte Order Mark）导致。本文介绍了ASCII、MBCS和Unicode编码，解释了BOM在Unicode编码中的作用，以及如何处理包含BOM的字符，特别是'xbb'，将其替换为空格以解决编码问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在爬取百度首页时报错：

UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xbb’ in position 28613: illegal multibyte sequence
这里写图片描述
虽然不影响爬取的内容，但是很好奇地查了一下，是字符编码BOM的锅。BOM（Byte Order Mark），字节顺序标记，出现在文本文件头部，Unicode编码标准中用于标识文件是采用哪种格式的编码。

字符编码

1.1. ASCII

ASCII(American Standard Code for Information Interchange)，是一种单字节的编码。计算机世界里一开始只有英文，而单字节可以表示256个不同的字符，可以表示所有的英文字符和许多的控制符号。不过ASCII只用到了其中的一半（\x80以下），这也是MBCS得以实现的基础。