文本读取显示编码问题(包括open和pd.read_csv)

最新推荐文章于 2025-01-22 12:41:43 发布
原创 最新推荐文章于 2025-01-22 12:41:43 发布 · 2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#UnicodeDecodeError

本文详细解答了Python中常见的编码问题，包括读取文本文件出现UnicodeDecodeError、print输出乱码以及使用pd.read_csv读取中文文件名时的报错情况。提供了具体的解决方案，如加入encoding参数、调整编码格式及使用正确的引擎。

Q1：读取文本文件出现UnicodeDecodeError

A1：加入encoding='UTF-8'

 

Q2：print出来乱码

A2：dos print不支持utf-8，改为ascii编码即可，python只支持utf-8

 

Q3：pd.read_csv读取中文文件名文件报错

A3：pd.read_csv（，engine='python'） or pd.read_csv（open(file_name)）

zhangfeicsdn
关注
python利用read_table和read_csv和open读取dat文件
weixin_46713695的博客
06-28 1万+
python读取dat文件案例详解
【Pandas总结】第二节 Pandas 的数据读取_pd.read_csv()的使用详解（非常全面，推荐收藏）
热门推荐
weixin_47139649的博客
09-09 11万+
pandas对纯文本的读取提供了非常强力的支持，参数有四五十个。这些参数中，有的很容易被忽略，但是在实际工作中却用处很大。
pandas的read_csv读入csv文件编码格式报错
C_tommy的专栏
01-19 4903
在用pandas的read_csv()方法读取csv文件时报错 'utf-8' codec can't decode byte 0xbe in position 0 data = pd.read_csv('./data.csv') 我们应该将编码该为gb18030 data = pd.read_csv('./data.csv',encoding = 'gb18030') # 编...
【python】总结pd.read_csv( )与open( )中常用的导入数据的问题之中文问题与转义问题
brucewong0516的博客
04-18 1万+
- 一、对于csv文件里是没有中文存在时： 1.1 用pd.read_csv( )： 详解参考 import pandas as pd from pandas import DataFrame,Series df = pd.read_csv('C:\Users\yingfei-wjc\Desktop\index_kchart.csv') SyntaxError: (unicod...
【学习笔记】python数据分析-外部数据读取&储存
qq_39951637的博客
08-08 437
读取CSV文件 将CSV文件读取为DataFrame数据结构是常见的转换，需要用到pd.read_csv( ) 读取excel文件 读取MySQL数据库
read_csv()参数之encoding——看这篇就够了
weixin_56069388的博客
03-28 1万+
pd.read_csv(encoding = '...') 完美解决CSV读取失败问题
pd.read_csv知识
m0_52951519的博客
11-08 3830
是pandas库中用于读取 CSV（逗号分隔值）文件的函数。在 Python 中，使用其中，是你要读取的 CSV 文件的路径。这个路径可以是相对路径（相对于当前 Python 脚本所在的目录），也可以是绝对路径。例如，如果你的 CSV 文件与 Python 脚本在同一目录下，你可以直接使用文件名作为路径，像。如果文件在其他目录，如在data_files文件夹下，你可以使用相对路径，或者使用绝对路径（如file.csvDataFrameDataFramedata.csvopensep',''\t'.tsv。
pd.read_csv() 遇到的3个报错及解决方法
qq_43629945的博客
01-22 750
三个报错的解决方法： （1）ParserError: Error tokenizing data. C error: Buffer overflow caught - possible malformed input file. （2）ParserError: field larger than field limit (131072) （3）ParserError: ' ' expected after '"'
使用read、readline、readlines和pd.read_csv、pd.read_table、pd.read_fwf、pd.read_excel获取数据...
weixin_33727510的博客
04-18 968
从文本文件读取数据 法一： 使用read、readline、readlines读取数据 read（[size]）：从文件读取指定的字节数。如果未给定或为负值，则去取全部。返回数据类型为字符串（将所有行合并为一个字符串）。 readline（[size]）：从文件读取整行，包括‘\n’字符。如果给定的是一个负数或未给定则读取整行，给定的是一个正数，则返回指定大小的字节数。返回数据类型为字...
第二章 解析python中的pandas.read_csv()，pandas.read_json()，pandas.read_excel()(工具)
专注于人工智能学习，总结
11-17 397
官方网站pandas是一个Python包，并且它提供快速，灵活和富有表现力的数据结构。这样当我们处理"关系"或"标记"的数据（一维和二维数据结构）时既容易又直观。pandas是我们运用Python进行实际、真实数据分析的基础，同时它是建立在NumPy之上的。pandas.csv() 函数将逗号分离的值 （csv） 文件读入数据框架。还支持可选地将文件读入块或将其分解。
写bug的日常——pandas导入csv文件的编码问题（UnicodeDecodeError:）
qq_37383582的博客
04-03 2792
通常，在利用python做数据分析时，pandas库的 pd.read_csv('XXX.csv') 是个很好用的导入csv文件的工具。 但是，今天在导入一份csv文件时却出现了UnicodeDecodeError:'utf-8' codec can't decode byte 0xb7 in position 0: invalid start byte 根据之前的经验，一般需要加上encoding的格式，然而加上encoding='utf-8’后依然报错，错误同上。 data = pd.read_csv
Python中使用open读入csv文件时如何跳过表头
m0_37134868的博客
05-09 1040
【代码】Python中使用open读入csv文件时如何跳过表头。
sklearn之线性回归实现—阿里云天池二手车交易价格预测赛
weixin_42347070的博客
04-28 4064
最近整理了线性回归的原理及代码实现，想要用实际数据来测试模型，正好看到阿里云天池数据赛正在进行二手车交易价格预测算法赛，正好能用线性回归模型进行预测，就在这里分享一下代码。 一、赛题介绍 赛题以预测二手车的交易价格为任务，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。其中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B。 特征如下...
2020李宏毅深度学习hw1
MG
10-06 1510
2020李宏毅深度学习hw1 1、导入包 import sys import pandas as pd import numpy as np 2、加载数据 data = pd.read_csv('train.csv', encoding = 'big5') 两个参数分别是“文件路径”和“文件编码格式”， ‘big5’指的是繁体中文编码,因为给的数据是TW那边的，所以必须是用big5来进行解码。 3、无用数据去除 data = data.iloc[:, 3:] #iloc(行，列) data.il
自然语言处理小案例：基于文本内容的垃圾短信分类
weixin_44293949的博客
09-21 5333
案例目标：识别垃圾短信 基于短信文本内容，建立识别模型，准确识别出垃圾短信，以及垃圾短信过滤的问题 一、数据获取 1、数据读取 data = pd.read_csv('fileName', header=None, index_col=0) #读取数据 data.columns = ['label', 'message'] 2、数据抽取 n = 5000 # 设置抽取5000条测试数据 a = data[data['label'] == 0].sample(n) # 正常短信0
pandas.read_csv() 出现乱码，几种总结的解决方法
sdcspn的博客
05-13 2807
下面我用三种方法解决 unicode解码错误:“utf-8”编解码器无法解码位置5的字节0xc7:无效的延续字节 原因： Python版本：Python 3.6 pandas.read_csv() 报错 OSError: Initializing from file failed，一般由两种情况引起：一种是函数参数为路径而非文件名称，另一种是函数参数带有中文。 方法一： 而解决问题的有效办法：直接在后面加入指定编译器为python即可（engine=’python’)）。否则用utf8还是不行
pd.read_csv()详解（理解20%满足80%应用场景）
漫步量化
01-09 7万+
官方文档 pandas.read_csv(filepath_or_buffer, sep=', ', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None,...
python read_csv遇到的encoding字符编码问题总结
lvhuike的博客
05-28 1万+
一、博客背景 我偶尔会接到把csv导入数据库的任务，我通常都是先用pd.read_csv读取文件数据，接着用df.to_sql导入数据库。有时read_csv会遇到不同的编码问题，我的解决方法通常是把常用的几种编码挨个试一下，哪种结果正确就选择哪一种。 二、博客目的 今天在这里，把我遇到的几种编码梳理汇总一下，方便自己和大家以后查询。 三、常见的编码 先放一下我都是怎么写read_csv。 reader = pd.read_csv(file_path , s
python csv文件通过多种编码表示字符_python学习笔记：read_csv()——encoding（字符解码）...
weixin_39661353的博客
11-30 4365
前言：在使用pandas读取csv文件时，通常需要指定解码方式，最常用的是UTF-8。UTF-8不解释了，国际化编码标准，html现在最标准的编码格式。但是有时使用UTF-8还是会报错，到底是什么原因呢？请看一个案例：import pandas as pdfile_path=r'E:\test_data\AdventureWorksDW-data-warehouse-install-script\...
csv.reader()和pd.read_csv()
最新发布
11-26
在Python中，`csv.reader()`和`pd.read_csv()`都可用于读取CSV文件，但使用方法和应用场景有所不同。 ### 使用方法 #### csv.reader() `csv.reader()`是Python内置`csv`模块中的函数，适合简单的CSV文件读取任务。使用时，需先打开CSV文件，再将文件对象传递给`csv.reader()`函数，该函数返回一个reader对象，可遍历CSV文件中的行，每行作为字符串列表返回。示例代码如下： ```python import csv with open('test.csv', encoding='utf-8') as text: row = csv.reader(text, delimiter=',') for line in row: print(line) ``` #### pd.read_csv() `pd.read_csv()`是`pandas`库中的函数，适合复杂的数据分析和处理任务，提供强大的数据操作功能和便捷接口，返回一个DataFrame对象。示例代码如下： ```python import pandas as pd data = pd.read_csv('file.csv') ``` 还可根据需求使用不同参数，如指定分隔符、设置列名、读取行数等： ```python data = pd.read_csv('./result.csv', sep=',') data = pd.read_csv('./result.csv', header=None, prefix='XX') data = pd.read_csv('./result.csv', nrows=4) ``` ### 区别 - **功能特性**：`csv.reader()`轻量，需手动处理数据；`pd.read_csv()`提供强大的数据操作功能和便捷接口，可直接对DataFrame进行数据分析和处理[^3]。 - **返回对象**：`csv.reader()`返回reader对象，遍历行时每行作为字符串列表返回；`pd.read_csv()`返回DataFrame对象，便于进行数据处理和分析[^3]。 - **适用场景**：`csv.reader()`适合简单的CSV文件读取任务；`pd.read_csv()`适合复杂的数据分析和处理任务[^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值