Python处理以BOM开头的UTF-8编码文件

最新推荐文章于 2024-01-03 19:36:33 发布

wbiblem

最新推荐文章于 2024-01-03 19:36:33 发布

阅读量5.8k

点赞数

分类专栏： Python模块积累文章标签： python

Python模块积累专栏收录该内容

17 篇文章

订阅专栏

本文介绍如何识别并处理UTF-8编码中的Byte Order Mark (BOM)，包括如何使用grep命令查找包含BOM的文件，以及如何通过find和sed命令组合来移除这些BOM标记。同时，还提供了Python代码示例来读取带有BOM的文件，并正确地处理这些文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

EF BB BF是被称为 Byte order mark (BOM)的文件标记，用来指出这个文件是UTF-8编码。
UTF8的BOM有三个字节，分别是0xef, 0xbb, 0xbf, 因此在写你的文本之前，写入”\xef\xbb\xbf”即可标记文件为UTF-8编码文件。

linux下查找包含BOM头的文件和清除BOM头命令
查找包含BOM头的文件，命令如下：
grep -r -I -l $’^\xEF\xBB\xBF’ ./
这条命令会查找当前目录及子目录下所有包含BOM头的文件，并把文件名在屏幕上输出。
但是，删除BOM头，网上找到的命令大多不能用，比较常见的命令是：
find . -type f -exec sed -i ‘s/\xEF\xBB\xBF//’ {} \;
这个命令会把当前目录及所有子目录下的BOM头删除掉。

python处理前三个字节是否为BOM_UTF8

f = open("2017-5-17-1.txt","r")
lightSen = []

for line in f.readlines():
    if '\xef\xbb\xbf'  in line:
        str1 = line.replace('\xef\xbb\xbf','')#用replace替换掉'\xef\xbb\xbf'
        lightSen.append(int(str1.strip()))#strip()去掉\n
    else:
        lightSen.append(int(line.strip()))


print(lightSen)

f.close