python去utf文件的BOM头部

最新推荐文章于 2024-04-22 14:45:00 发布
最新推荐文章于 2024-04-22 14:45:00 发布
阅读量1.6k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/py_tester/article/details/78659141

在window的环境下，保存的文本文档会加上三个字符0xEF 0xBB 0xBF的头部，这三个字符可能会影响对文本的读取，形成乱码，在这里记录下如何避免。

（1）首先发现直接保存为ASCII的文本文件是不包含BOM头部的
（2）若保存成UTF-8会有这三个字符，所以像notepad++保存会有一个选项叫做UTF-8无bom，是因为windows下默认的UTF-8会有这三个字符
解决方法：
这里写图片描述

py_tester
关注
python处理文件首行读取问题 utf-8 BOM
gloryzyf
01-16 6746
文件有utf-8 bom和utf-8无bom格式 python在读取文件首行数据时，如果是utf-8 bom格式的文件，则首行读取的是有bom信息的，和utf-8 无bom格式的文件是不同的 可以用编辑器另存为utf-8 without BOM，也可以在代码中采用codecs.open来处理 [python] view plain copy
python utf 8-sig_Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题
weixin_39793794的博客
12-15 660
先举个例子，分别以不指定编码、指定编码为 utf-8、指定编码为 utf-8-sig 三种方式来做比较，再将写入 csv 文件和 txt 文件来做个对比一、不指定编码方式，直接存入 csv 文件import csvwith open('test.csv', 'w') as fp:writer = csv.writer(fp)writer.writerow(['汉语', '俄语', '韩语', '日...
python 中去除BOM头
a1234454323的博客
03-22 1013
在window的环境下，保存的文本文档会加上三个字符0xEF 0xBB 0xBF的头部，这三个字符可能会影响对文本的读取，形成乱码，在这里记录下如何避免。 首先发现直接保存为ASCII的文本文件是不包含BOM头部的，验证步骤如下： 1.创建ASCII编码的txt文件 2. #coding=utf-8 import codecs data=open("xxx.txt").r...
python utf 8 mac_UTF-8编码去除BOM头的python脚本
weixin_39778003的博客
12-06 386
欢迎转载，但请务必在明确位置注明文章出处！ http://johnnyshieh.github.io/python/2015/08/02/python-remove-utf8-bom/前几天我在Windows写完一篇markdown格式的文章，上传到github page后，这个文章的页面把jekyll的YAML头信息也显示出来了，没有像我之前在ubuntu中写的文章一样正常解析YAML头信息，最...
python文件的头部
shooke笔记
02-23 1585
先说说python和virtual python 一般环境下，python解释器会放在/usr/bin/ 下面，然后你执行python的时候就会运行了，但是如果没有在/usr/bin/下面的话，执行python就会找不到，所以这就是#!/usr/bin/env python的用处， /usr/bin/env 会去path中找，然后看看第一个找到的python解释器在哪，这样就能执行python...
python文件头部
HSJ0170的博客
10-11 1021
经常忘记，做一个备忘录以供复制copy粘贴paste #! usr/bin/python # -*- coding:utf-8 -*-
用python实现的去除win下文本文件头部BOM的代码
12-25
问题：windows环境下新建或编辑文本文件，保存时会在头部加上BOM。使用ftp上传到linux下，在执行时第一行即报错。以下方法可以去除BOM头，有需要的朋友可以参考下。 复制代码 代码如下:import codecsdata = open(...
Excel读取“带BOM的UTF8”文件出现乱码的解决方法
cgch_cn的专栏
02-28 2416
Excel读取“带BOM的UTF8”文件出现乱码的解决方法，用sublime打开乱码的CSV文件，设置为GBK，删除最前面的几个乱码（推测是BOM信息），保存。用Excel的“从文本/CSV”导入
Python中pandas读取csv文件实现utf-8与gbk编码自动识别
最新发布
07-03
在使用Python进行数据分析的过程中，pandas库是一个十分强大的工具，它提供了大量的方法来处理各种数据集，其中读取CSV文件是最基本的操作之一。CSV文件作为一种简单、广泛使用的数据交换格式，经常包含着大量的文本...
【python】UTF-8和UTF-8sig编码区别
zoetu
12-12 3819
json文件读取成dataframe出现了yurf-8编码错误
Python——Python程序的文件头部声明
qq_45794091的博客
11-03 6343
Python文件头部声明： #!/usr/bin/env python # coding=utf-8
python头部信息、py头部信息、python头信息、py头信息、py文件头部（# -*- coding: utf-8 -*-）（#!/usr/bin/env python3）encoding
Dontla的博客
07-15 3167
总结起来，以上信息有助于提高代码的可读性、可维护性和可移植性。这些信息可以根据实际需要进行添加或修改，以提高代码的可读性和可维护性。
python 脚本头（PyCharm+python头部信息、py头部信息、python头信息、py头信息、py文件头部）
yingmohuanzhou的博客
04-22 1040
python 脚本头（PyCharm+python头部信息、py头部信息、python头信息、py头信息、py文件头部）
python 常用文件头格式
dujidan的博客
06-09 1281
python 文件 头部格式
python基础篇--python脚本头
热门推荐
DHogan的博客
01-13 1万+
在python开发的过程中，脚本开头非常重要。 第一行：告诉操作系统python装在哪里（是通过env中查询，然后再调到对应的解析器完成运行）。 第二行：是声明文件的编码格式以utf-8. 其他则为这个文件信息，和脚本内容 #!/usr/bin/env python # _*_ coding:utf-8 _*_ # # @Version : 1.0 # @Time : 2017/1/
Python处理utf-8 添加和删除BOM头
weixin_30621711的博客
12-08 679
以下代码只处理了assic和utf8文件。其它文件编码为保险起见并未加入支持。 参数 exts 需要处理文件的扩展名 folders 需要处理的文件夹及子目录 处理目录为当前目录运行：添加bom头 python proc_bom.py 删除bom头 python proc_bom.py -r 运行缺少chardet报错 请查看：http://www.cnblogs.com/wangmh...
利用python将文件转换为utf8 无BOM
会吃狼的鳄鱼
05-19 7293
如何将一个文件，转换为utf8 无BOM的文件呢；这里使用python做了实现 #!/usr/bin/env python # -*- coding: utf-8 -*- ########################################################## # A clever person solves a problem. A wise person av
csv文件加bom python_CSV读取与写入的常见问题（空行、BOM、r/w/a模式、指针）
weixin_42394257的博客
02-06 2658
import csv1. 多余的空行原因python正常写入文件的时候，每行的结束默认添加’\n’，即0x0D，而writerow命令的结束会再增加一个0x0D0A，因此对于windows系统来说，就是两行。采用’ b’参数，用二进制进行文件写入，系统默认是不添加0x0D的(故python2.x中的解决方式是使用“wb模式打开文件”，该方法python3.x中已不适用，会报错如下)。TypeErr...
csv文件utf8读取乱码python
03-26
### 解决方案 为了确保 Python 能够正确地以 UTF-8 编码读取 CSV 文件并避免乱码问题，可以从以下几个方面入手： #### 1. **确认文件的实际编码** 在处理 CSV 文件之前，首先要明确该文件的真实编码格式。如果文件是以 ANSI 或其他编码保存，则需要先将其转换为 UTF-8 格式[^2]。 可以通过以下方法检测文件编码： ```python import chardet with open('your_file.csv', 'rb') as f: result = chardet.detect(f.read()) print(result['encoding']) ``` #### 2. **使用 `pandas` 库加载 CSV 文件** `pandas` 是一种强大的数据处理库，在读取 CSV 文件时可以直接指定编码参数。以下是具体实现代码： ```python import pandas as pd df = pd.read_csv('test.csv', encoding='utf-8') print(df.head()) # 查看前几行数据验证是否成功解析 ``` 此方法适用于大多数情况下已知文件为 UTF-8 编码的情况。 #### 3. **手动调整 BOM 的存在与否** 有时即使指定了 UTF-8 编码，仍然可能出现乱码现象，这可能是因为某些程序（如 Microsoft Excel）默认期望带 BOM 的 UTF-8 文件。因此创建或写入 CSV 文件时应考虑加入 BOM 头部信息。例如下面展示的是如何生成含 BOM 的 UTF-8 CSV 文件[^1]: ```python rows = [['姓名', '住址'], ['张三', '北京'], ['李四', '上海']] with open('test_with_bom.csv', 'w', newline='', encoding='utf-8-sig') as csvfile: writer = csv.writer(csvfile) for row in rows: writer.writerow(row) ``` 当再次尝试读取上述生成的新版 CSV 文件时，应该能够顺利避开因缺少 BOM 导致的潜在错误。 #### 4. **针对特殊场景下的编码转换操作** 对于那些原始存储形式并非标准 UTF-8 (无BOM)或者 GBK/ANSI 类型的数据集来说，可以采用逐步转码的方式解决问题。即先把原文件按其实际编码解读出来后再重新写出成目标所需的标准 utf-8 版本: ```python import codecs input_file_path = 'original_encoding_file.csv' output_file_path = 'converted_to_utf8.csv' with open(input_file_path, 'r', encoding='gbk') as input_file,\ open(output_file_path, 'w', encoding='utf-8') as output_file: content = input_file.read() output_file.write(content) ``` 以上步骤可有效应对多种复杂情况引起的字符显示异常状况。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值