Python学习笔记：BOM

最新推荐文章于 2024-02-23 20:02:15 发布

转载最新推荐文章于 2024-02-23 20:02:15 发布 · 790 阅读

文章标签：

#BOM

python 专栏收录该内容

70 篇文章

订阅专栏

本文详细介绍了UTF-8编码中的BOM问题，解释了BOM的作用及其在不同系统中的处理方式，提供了两种有效的方法来去除文件中的BOM，避免在Python等环境下解析JSON时出现的解码错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文为博主原创文章，转载请注明出处。 https://blog.youkuaiyun.com/founderznd/article/details/52197078

#前言

windows对于utf-8编码的文件自带BOM，但是其他系统utf-8编码默认不带BOM。

这就造成在某些情况下字符解码会出现问题，比如python自带的json在读取在window下编码得来的utf-8文件时，会报如下错误:

ValueError：无法解码JSON对象

#BOM（维基百科，自由的百科全书）

BOM：字节顺序标记（BOM）是一个Unicode字符，U + FEFF BYTE ORDER MARK（BOM），其外观作为文本流开头的幻数可以向使用该文本的程序发出信号：

文本流存储在哪个字节顺序或字节顺序中;
事实上，文本流是Unicode，高度自信;
文本流编码为的几种Unicode编码中的哪一种。
BOM使用是可选的，如果使用，应该出现在文本流的开头。

Unicode可以编码为8位，16位或32位整数。对于16位和32位表示，从任意源接收文本的计算机需要知道整数编码的字节顺序。因为BOM本身的编码方式与文档的其余部分相同，但是已知值，文本的使用者可以检查这些前几个字节以确定编码。因此，BOM为文本的制作者提供了一种方式来描述文本流对文本消费者的字节顺序，而不需要文本流本身之外的某些合同或元数据。

一旦接收计算机使用了文本流，就可以按照自己的本机字节顺序自由处理字符，不再需要BOM。因此，对BOM的需求出现在文本交换的上下文中，而不是在封闭环境中的文本处理中。

一句话总结：BOM对于utf-16和utf-32有用，对于utf-8没啥大用。。所以能去掉就去掉好了。。

#去掉BOM

方法1：

f = open("data","r")
s = f.read()
u = s.decode("utf-8-sig") # 得到一个不含BOM的unicode string
s = u.encode("utf-8")    # 将unicode转换为utf-8
f.close()

方法2：

import codecs

f = open("data","r")
s = f.read()        
if s.startswith(codecs.BOM_UTF8):
    s = s[len(codecs.BOM_UTF8):]
f.close()

---------------------
作者：古月河图
来源：优快云
原文：https://blog.youkuaiyun.com/founderznd/article/details/52197078
版权声明：本文为博主原创文章，转载请附上博文链接！