Python读取数据编码排错

最新推荐文章于 2024-06-27 08:48:50 发布

原创

最新推荐文章于 2024-06-27 08:48:50 发布 · 361 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了在Python中处理数据文件时遇到的编码问题，通过一个实际场景展示了如何确定文件的正确编码并使用pandas进行读取。在读取CSV文件时，由于编码设置不正确导致行标题丢失和格式错位。通过使用chardet库检测文件编码，发现文件实际上是GB2312编码，而非预期的UTF-8。理解GB2312、GBK和GB18030之间的关系，最终找到文件实际编码为UTF-8-SIG，从而成功解决了问题。

在Python开发中，当需要读取某些数据文件或者获取某些数据时，很有可能会遇到因为编码不匹配而报错的情况。这类问题其实非常常见，主要原因，还是因为没有选择正确的编码来识别所导致的。

为了很好的说明并解决这个问题，我以一个实际场景为例。当前，有一个csv格式的excel数据文件，为了确保数据文件的编码与我们假设的一致，我手动打开将此csv文件并明确以UTF-8编码另存为再次保存了一遍，默认情况下这个文件理应当以UTF-8的编码格式保存了。

下面简单的使用pandas库并以显式地方式设置以UTF-8的编码格式去读取csv文件，然后把最终数据赋值给data1并输出看看结果。

import pandas as pd

data1 = pd.read_csv('/Users/Anders/Downloads/dataset.csv', engine='python', encoding='UTF-8'

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

itanders

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python 报错 unicodedecodeerror: ‘utf-8‘ codec can‘t decode byte 0x8c

日常学习与专研的记录

03-21

3886

Python 解决读取文件报错 “unicodedecodeerror: ‘utf-8‘ codec can‘t decode byte 0x8c”

参与评论您还未登录，请先登录后发表或查看评论

python为源文件指定系统默认_Python 设置系统默认编码

weixin_35548486的博客

01-29

1199

python在安装时，默认的编码是ascii，当程序中出现非ascii编码时，python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)，python没办法处理非ascii编码的，此时需要自己设置将python的默认编码，一般设置...

python encoding报错_Python代码中中文报错问题解决

weixin_42551310的博客

02-09

658

http://www.python.org/dev/peps/pep-0263/(标准文档)Python will default to ASCII as standard encoding if no otherencoding hints are given.To define a source code encoding, a magic comment mustbe placed into...

Pyspark encoding 报错

onway_goahead的博客

09-18

304

import sys sys.getdefaultencoding() reload(sys) sys.setdefaultencoding('utf-8'）

python encoding报错_Python BeautifulSoup报错encoding error问题

weixin_30529479的博客

02-09

997

编码后的html：def getHtml(self,url):headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0","Connection":"keep-alive",}r = requests.get(url,headers=headers)html ...

Python3 Pyc文件排错详解：目录操作与故障排查

本资源详细介绍了如何在Python 3环境下处理pyc文件以及遇到问题时的排错帮助。首先，针对文件系统操作可能出现的问题，作者强调了检查文件名或路径的准确性，以及在重命名文件时确保文件未被占用且目标名称没有冲突...

利用AI快速跨过新手区：用DevChat编写Python程序-CSV导入TDengine

最新发布

零正催照

06-27

1910

（补充一个问题，在python3.x中，只要把unicode编码，字符串就会变成了bytes格式，也不直接打印成gbk的字符，我觉得就是想通过这样的方式明确的告诉你，想在python3.x中看字符串，必须是unicode，其他编码一律是bytes格式）。无论以什么编码存储的数据，只要我们的软件把数据从硬盘上读到内存，转成unicode来显示即可，由于所有的系统、编程语言都默认支持unicode，所有我们的gbk编码软件放在美国电脑上，加载到内存里面，变成了unicode，中文就可正常展示。

DHT11数据解析原理：理解单总线通信时序与校验机制（精准读取数据的6大关键点）

该传感器每次读取返回40位数据，结构为：8位湿度整数 + 8位湿度小数 + 8位温度整数 + 8位温度小数 + 8位校验和。尽管湿度小数部分恒为0（精度有限），但该格式保持了协议一致性。 ```c typedef struct { uint8_t ...

解决TypeError: ‘encoding’ is an invalid keyword argument for this function

牛肉胡辣汤

10-14

1万+

错误通常发生在文件读写操作中，原因是open()函数不支持encoding参数。解决这个错误的方法包括检查Python版本、使用正确的函数、检查函数参数以及检查文件打开模式。通过正确地使用open()函数，并避免错误使用encoding参数，我们可以顺利地进行文件读写操作。希望本文对你能够帮助你解决错误。如果你还有其他疑问，请随时提问。

成功解决：Invalid encoding name “UTF8“

日常笔记 | 干货分享 | 毕设源码 | 毕设指导 | 答辩指导

08-28

1205

出现这个问题可能由于不同的原因、本文是由于文件中设置的编码格式问题，需要将改成。

多次定义encoding异常

KingZhCool的专栏

08-25

243

定义了两次encoding，报异常： org.apache.jasper.JasperException: /fail.jsp(3,1) Page directive must not have multiple occurrences of pageencoding

已解决java.io.UnsupportedEncodingException异常的正确解决方法，亲测有效！！！

小明的Java问道之路

01-18

1万+

已解决java.io.UnsupportedEncodingException异常的正确解决方法，亲测有效！！！

python实现批量转换文件编码encoding

staney的博客

10-22

1992

因多语种造成的编码问题很多代码文件移到其他开发环境IDE时，会因编码问题编译出错。典型的例如：ecllipse下的.java文件不是utf-8格式，在AS上中文是乱码。一些非中英文的其他语种文字存在于文件.c , .cpp, .h, .hpp时，如果文件不是utf-8则在visual studio上打开会出现乱码，直接使得代码排版出现问题而编译失败。解决方法使用python将所有文件编码转换为utf-8 运行环境: python3.7.4 这里废话不多，直接上全部代码。解释一下使用方法：

pandas read_excel()方法更新了，encoding参数没了

本博客暂停使用

08-06

1万+

pandas read_excel()方法更新了，encoding参数没了

R 语言读写数据编码格式

zsc943290710的博客

03-18

5792

在使用R语言读取数据或者R代码时，有时候会出现中文乱码的现象。如何才能避免此类乱码问题的出现呢，笔者根据自己在实际数据处理过程中的经验，总结如下：笔者在Windows系统下，使用R软件进行统计分析相关事宜。相关代码仅供参考。 1、数据读取时，增加参数encoding="UTF-8"或者fileEncoding="UTF-8"(linux环境下)；encoding="GBK"或者fileEncoding="GBK"(Windows环境下)； csv格式文件： data<-read.csv("D

TypeError: 'encoding' is an invalid keyword argument for this function

大鱼的博客

12-16

2万+

使用Python进行爬虫，报错： TypeError: 'encoding' is an invalid keyword argument for this function before： with open('baidu.html','w',encoding='utf-8') as fp: fp.write(response.read().decode()) 按照提示的意思...

解决编码错误：获取文件编码格式后读取CSV文件

TechCraze的博客

09-04

398

为了解决这个问题，我们可以通过获取文件的编码格式，并在读取文件时指定正确的编码格式来解决。需要注意的是，有些CSV文件可能没有明确的编码格式信息，或者使用了非标准的编码格式。综上所述，要解决pandas读取CSV文件时的编码错误问题，我们可以先获取文件的编码格式，然后使用正确的编码格式来读取文件。然后，我们需要获取文件的编码格式。下面是一种解决编码错误的方法，首先获取文件的编码格式，然后使用正确的编码格式读取CSV文件。通过这种方法，我们可以根据文件的实际编码格式来读取CSV文件，避免出现编码错误的问题。