文本读取显示编码问题(包括open和pd.read_csv)

解决Python中常见的编码问题

最新推荐文章于 2025-01-22 12:41:43 发布

原创最新推荐文章于 2025-01-22 12:41:43 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#UnicodeDecodeError

本文详细解答了Python中常见的编码问题，包括读取文本文件出现UnicodeDecodeError、print输出乱码以及使用pd.read_csv读取中文文件名时的报错情况。提供了具体的解决方案，如加入encoding参数、调整编码格式及使用正确的引擎。

Q1：读取文本文件出现UnicodeDecodeError

A1：加入encoding='UTF-8'

Q2：print出来乱码

A2：dos print不支持utf-8，改为ascii编码即可，python只支持utf-8

Q3：pd.read_csv读取中文文件名文件报错

A3：pd.read_csv（，engine='python'） or pd.read_csv（open(file_name)）

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zhangfeicsdn

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

python利用read_table和read_csv和open读取dat文件

weixin_46713695的博客

06-28

1万+

python读取dat文件案例详解

【Pandas总结】第二节 Pandas 的数据读取_pd.read_csv()的使用详解（非常全面，推荐收藏）

热门推荐

weixin_47139649的博客

09-09

11万+

pandas对纯文本的读取提供了非常强力的支持，参数有四五十个。这些参数中，有的很容易被忽略，但是在实际工作中却用处很大。

参与评论您还未登录，请先登录后发表或查看评论

pandas的read_csv读入csv文件编码格式报错

C_tommy的专栏

01-19

4903

在用pandas的read_csv()方法读取csv文件时报错 'utf-8' codec can't decode byte 0xbe in position 0 data = pd.read_csv('./data.csv') 我们应该将编码该为gb18030 data = pd.read_csv('./data.csv',encoding = 'gb18030') # 编...

【python】总结pd.read_csv( )与open( )中常用的导入数据的问题之中文问题与转义问题

brucewong0516的博客

04-18

1万+

- 一、对于csv文件里是没有中文存在时： 1.1 用pd.read_csv( )：详解参考 import pandas as pd from pandas import DataFrame,Series df = pd.read_csv('C:\Users\yingfei-wjc\Desktop\index_kchart.csv') SyntaxError: (unicod...

【学习笔记】python数据分析-外部数据读取&储存

qq_39951637的博客

08-08

437

读取CSV文件将CSV文件读取为DataFrame数据结构是常见的转换，需要用到pd.read_csv( ) 读取excel文件读取MySQL数据库

read_csv()参数之encoding——看这篇就够了

weixin_56069388的博客

03-28

1万+

pd.read_csv(encoding = '...') 完美解决CSV读取失败问题

pd.read_csv知识

m0_52951519的博客

11-08

3830

是pandas库中用于读取 CSV（逗号分隔值）文件的函数。在 Python 中，使用其中，是你要读取的 CSV 文件的路径。这个路径可以是相对路径（相对于当前 Python 脚本所在的目录），也可以是绝对路径。例如，如果你的 CSV 文件与 Python 脚本在同一目录下，你可以直接使用文件名作为路径，像。如果文件在其他目录，如在data_files文件夹下，你可以使用相对路径，或者使用绝对路径（如file.csvDataFrameDataFramedata.csvopensep',''\t'.tsv。

pd.read_csv() 遇到的3个报错及解决方法

qq_43629945的博客

01-22

750

三个报错的解决方法：（1）ParserError: Error tokenizing data. C error: Buffer overflow caught - possible malformed input file. （2）ParserError: field larger than field limit (131072) （3）ParserError: ' ' expected after '"'

使用read、readline、readlines和pd.read_csv、pd.read_table、pd.read_fwf、pd.read_excel获取数据...

weixin_33727510的博客

04-18

968

从文本文件读取数据法一：使用read、readline、readlines读取数据 read（[size]）：从文件读取指定的字节数。如果未给定或为负值，则去取全部。返回数据类型为字符串（将所有行合并为一个字符串）。 readline（[size]）：从文件读取整行，包括‘\n’字符。如果给定的是一个负数或未给定则读取整行，给定的是一个正数，则返回指定大小的字节数。返回数据类型为字...

第二章解析python中的pandas.read_csv()，pandas.read_json()，pandas.read_excel()(工具)

专注于人工智能学习，总结

11-17

397

官方网站pandas是一个Python包，并且它提供快速，灵活和富有表现力的数据结构。这样当我们处理"关系"或"标记"的数据（一维和二维数据结构）时既容易又直观。pandas是我们运用Python进行实际、真实数据分析的基础，同时它是建立在NumPy之上的。pandas.csv() 函数将逗号分离的值（csv）文件读入数据框架。还支持可选地将文件读入块或将其分解。

写bug的日常——pandas导入csv文件的编码问题（UnicodeDecodeError:）

qq_37383582的博客

04-03

2792

通常，在利用python做数据分析时，pandas库的 pd.read_csv('XXX.csv') 是个很好用的导入csv文件的工具。但是，今天在导入一份csv文件时却出现了UnicodeDecodeError:'utf-8' codec can't decode byte 0xb7 in position 0: invalid start byte 根据之前的经验，一般需要加上encoding的格式，然而加上encoding='utf-8’后依然报错，错误同上。 data = pd.read_csv

Python中使用open读入csv文件时如何跳过表头

m0_37134868的博客

05-09

1040

【代码】Python中使用open读入csv文件时如何跳过表头。

sklearn之线性回归实现—阿里云天池二手车交易价格预测赛

weixin_42347070的博客

04-28

4064

最近整理了线性回归的原理及代码实现，想要用实际数据来测试模型，正好看到阿里云天池数据赛正在进行二手车交易价格预测算法赛，正好能用线性回归模型进行预测，就在这里分享一下代码。一、赛题介绍赛题以预测二手车的交易价格为任务，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。其中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B。特征如下...

2020李宏毅深度学习hw1

10-06

1510

2020李宏毅深度学习hw1 1、导入包 import sys import pandas as pd import numpy as np 2、加载数据 data = pd.read_csv('train.csv', encoding = 'big5') 两个参数分别是“文件路径”和“文件编码格式”， ‘big5’指的是繁体中文编码,因为给的数据是TW那边的，所以必须是用big5来进行解码。 3、无用数据去除 data = data.iloc[:, 3:] #iloc(行，列) data.il

自然语言处理小案例：基于文本内容的垃圾短信分类

weixin_44293949的博客

09-21

5333

案例目标：识别垃圾短信基于短信文本内容，建立识别模型，准确识别出垃圾短信，以及垃圾短信过滤的问题一、数据获取 1、数据读取 data = pd.read_csv('fileName', header=None, index_col=0) #读取数据 data.columns = ['label', 'message'] 2、数据抽取 n = 5000 # 设置抽取5000条测试数据 a = data[data['label'] == 0].sample(n) # 正常短信0

pandas.read_csv() 出现乱码，几种总结的解决方法

sdcspn的博客

05-13

2807

下面我用三种方法解决 unicode解码错误:“utf-8”编解码器无法解码位置5的字节0xc7:无效的延续字节原因： Python版本：Python 3.6 pandas.read_csv() 报错 OSError: Initializing from file failed，一般由两种情况引起：一种是函数参数为路径而非文件名称，另一种是函数参数带有中文。方法一：而解决问题的有效办法：直接在后面加入指定编译器为python即可（engine=’python’)）。否则用utf8还是不行

pd.read_csv()详解（理解20%满足80%应用场景）

漫步量化

01-09

7万+

官方文档 pandas.read_csv(filepath_or_buffer, sep=', ', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None,...

python read_csv遇到的encoding字符编码问题总结

lvhuike的博客

05-28

1万+

一、博客背景我偶尔会接到把csv导入数据库的任务，我通常都是先用pd.read_csv读取文件数据，接着用df.to_sql导入数据库。有时read_csv会遇到不同的编码问题，我的解决方法通常是把常用的几种编码挨个试一下，哪种结果正确就选择哪一种。二、博客目的今天在这里，把我遇到的几种编码梳理汇总一下，方便自己和大家以后查询。三、常见的编码先放一下我都是怎么写read_csv。 reader = pd.read_csv(file_path , s

python csv文件通过多种编码表示字符_python学习笔记：read_csv()——encoding（字符解码）...

weixin_39661353的博客

11-30

4365

前言：在使用pandas读取csv文件时，通常需要指定解码方式，最常用的是UTF-8。UTF-8不解释了，国际化编码标准，html现在最标准的编码格式。但是有时使用UTF-8还是会报错，到底是什么原因呢？请看一个案例：import pandas as pdfile_path=r'E:\test_data\AdventureWorksDW-data-warehouse-install-script\...

csv.reader()和pd.read_csv()