Error tokenizing data. C error: Expected 1 fields in line 49, saw 2

最新推荐文章于 2024-08-18 11:34:15 发布
最新推荐文章于 2024-08-18 11:34:15 发布
阅读量6.2w 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 爬坑
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hezuijiudexiaobai/article/details/104433152
本文介绍如何使用pandas库中的read_csv函数跳过CSV文件中指定的错误行，通过设置skiprows参数为list-like，int或callable，可以灵活地跳过不需要的数据行，确保数据读取的准确性和效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
读取数据跳过某些错误行文本

skiprows:list-like，int或callable，可选要跳过的行号（0索引）或要跳过的行数（整数）在文件的开头。

如果可调用，则将根据行计算可调用函数索引，如果应跳过行，则返回True；否则返回False。

dataset = pd.read_csv('Visualization-using-Matplotlib/dataset.csv', skiprows=[0, 1, 2, 3])
pandas.errors.ParserError: Error tokenizing data. C error: Expected 16 fields in line 3, saw 2386
LDC，公众号【轻松学编程】
04-11 1239
pandas.errors.ParserError: Error tokenizing data. C error: Expected 16 fields in line 3, saw 2386
成功解决pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 48, saw 2
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-16 1万+
成功解决pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 48, saw 2 目录 解决问题 解决思路 解决方法 解决问题 pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 48, saw 2 解决思路 ...
成功解决pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 49, saw 2
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-15 7054
成功解决pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 49, saw 2 目录 解决问题 解决思路 解决方法 解决问题 pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 49, saw 2 解决思路 ...
Pandas读取CSV错误：Error tokenizing data. C error: Expected 1 fields in line **, saw **
热门推荐
fulin9452的博客
11-24 6万+
错误示例： Error tokenizing data. C error: Expected 1 fields in line 386, saw 2 原因： 分隔符设置错误，尝试设置delimiter='\t' pd.read_csv(filename, header=0, delimiter="\t") 建议： 检查是否在代码中修改默认的分隔符（sep），以及读取的CSV文件分隔符形式 ...
Error tokenizing data. C error: Expected 1 fields in line 4, saw 2
qq_44833146的博客
05-05 438
python pandas
【error solved】Error tokenizing data. C error: Expected 1 fields in line XX, saw XX
coding回忆录
04-27 5739
报错内容：Error tokenizing data. C error: Expected 1 fields in line XX, saw XX 报错原因：CSV的分隔符设置异常 / 存储的时候格式有问题 解决方法： 方法一 通过csv库进行读取，再遍历，再进行合并保存 （文件不大的情况下可用），太大转置的时候RAM会hang import pandas as pd import csv path = 'file_absolute_path/filename.csv' test = pd.DataFra
pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 4, saw 2
yayayamaomaoya的博客
12-24 1777
问题描述 Traceback (most recent call last): File “D:/python/modelsmy/trainvgg16.py”, line 57, in df_train = pd.read_csv(train_path) File “E:\tools\Anaconda\envs\py36\lib\site-packages\pandas\io\parsers.py”, line 688, in read_csv return _read(filepath_or_buffe
pandas读CSV错误：ParserError: Error tokenizing data. C error: Expected 2 fields in line **
MurphyStar的博客
06-06 941
用pandas读取CSV文件时报错，因为读取的是CSV文件，分隔默认采用的是逗号，该错误的可能原因为读取的数据中某一项包含两个字段，即值内可能包含两个逗号。
pycharm读取csv文件出现pandas.errors.ParserError:Error tokenizing data. C error:Expected 2 fields in line
m0_61059796的博客
05-30 1100
原因是在读取文件时，该结果是通过自己更改后缀导致的，即使更改了后缀，但是保存类型依旧为xlsx类型，而不是csv类型。如要保存为csv形式需要在xlsx文件另存时选择csv后缀形式。csv文件不能是自己手动更改后缀实现，需要在另存excel文件时选择存为csv形式。
【pd.read_csv出现Error tokenizing data. C error: Expected 2 fields in line 80, saw 3错误】
guoguoguo1233的博客
05-10 509
刚开始出现错误以为是自己文件存储的问题，其实就是read_csv默认的存储方式是以逗号(,)读取。要明确自己的数据源是以什么方式存储的，这样就可以避免这样的错误了，第一次在csdn上记录，希望自己以后再接再厉！例如我的initial_te_la.csv在存储时，是以sep=‘\t‘进行划分的，但是read_csv是以默认逗号(,)进行读取。也就是说，在利用pd.read_csv读取文件时，规定sep形式。要明确自己的csv文件是以什么格式划分的。
pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 694, saw 2
FfFFfFf_fFFfFf的博客
08-18 786
read_csv默认分隔符为逗号，可能是文本中含逗号导致错误。
Python报错：ParserError: Error tokenizing data. C error: Expected 1 fields in line 28591, saw 2
sweet_tea_的博客
03-04 3250
使用pandas读取txt文件时报错如下： ParserError: Error tokenizing data. C error: Expected 1 fields in line 28591, saw 2 解决办法：加入 error_bad_lines=False 示例代码： Train_data = pd.read_csv(path+'train.txt',error_bad_lines=False) Test_data = pd.read_csv(path+'test.txt',error_ba
ParserError: Error tokenizing data. C error: Expected 1 fields in line 36085, saw 2
Vulpes corsac
04-09 1694
pandas中的read.csv引起的 import pandas as pd filepath = 'test.csv' df = pd.read_csv(filepath, sep=';') 错误的原因：因为中间字符串有错误。read.csv默认分隔符是“，”比如前面都是一行没有“，”，后面突然出现一行有“，”，这时这行数据就会变成两列，前面是一列，后面忽然变成两列 ，这时程序就会报这种...
pd读取csv时报错：ParserError: Error tokenizing data. C error: Expected 1 fields in line 8, saw 3
Y_1_2_3456的博客
11-06 7121
直接改后缀名是会报错的，可以点击另存为，修改一下文件格式，将保存类型改为 即可！
成功解决ParserError: Error tokenizing data. C error: Expected 2 fields in line 53, saw 3
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-26 4万+
成功解决 File "pandas\_libs\parsers.pyx", line 2021, in pandas._libs.parsers.raise_parser_error pandas.errors.ParserError: Error tokenizing data. C error: Expected 2 fields in line 53, saw 3 目录 解决问题 解决思路 解决方法 解决问题 File "pandas\_libs\parsers....
pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 3, saw 2解决办法
alicelmx的博客
11-09 4万+
pandas的一个小问题
pandas.errors.ParserError: Error tokenizing data. C error: 的解决【实测成功】
weixin_41529093的博客
01-09 2万+
仅作为记录，大佬请跳过。 用,error_bad_lines=False 背景 博主在运行df = pd.read_csv('label.csv', encoding="utf-8")时， 出现：pandas.errors.ParserError: Error tokenizing data. C error: Expected 3 fields in line 9, saw 19 解决 将代码改为： df = pd.read_csv('label.csv', encoding="utf-8",error_
pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 836, saw 2
A_zhangpengjie的博客
07-20 3475
原因：分隔符设置错误 方法：尝试设置delimiter='\t'，还有sep=’’ 注意：需要研究pandas读取文件时存在的注意事项。
pandas.errors.ParserError: Error tokenizing data. C error: Expected 2 fields
七爷OK
09-01 2万+
问题 使用 python 的 pandas 模块报错。 代码： file_path = os.path.join(self.ROOT, self.file) data = pd.read_csv(file_path) 报错： File "name.py", line 24, in name data = pd.read_csv(file_p...
ParserError: Error tokenizing data. C error: Expected 1 fields in line 1642, saw 2
最新发布
03-11
<think>好的，用户现在遇到了一个ParserError，具体是“Expected 1 fields in line 1642, saw 2”。我需要先理解这个错误的原因。通常，这种错误在Pandas读取CSV或类似文件时出现，说明在指定的某一行（这里是第1642行）数据中的字段数量与预期不符。例如，表头定义了1个字段，但该行实际有2个字段。 用户之前询问过关于乱码的问题，可能是在处理同一文件时遇到了编码问题，现在可能解决了编码问题，但遇到了数据结构的问题。我需要考虑用户可能的操作场景：他们可能在用Pandas读取CSV文件，之前可能调整过编码参数，现在数据虽然能读，但结构有问题。 接下来，需要分析错误的具体原因。常见的原因包括：不统一的分隔符、字段中包含未转义的分隔符（比如逗号）、引号未闭合、换行符问题或文件中有多余的行。需要针对这些情况给出解决方案。 用户可能需要逐步的解决方案。首先，检查问题行，然后调整读取参数，如sep、header、quoting等。如果问题持续，可能需要更灵活的处理方式，比如指定错误处理方式，或者使用Python逐行处理。此外，可能还需要建议用户检查数据来源，确保格式正确。 需要确保回答结构清晰，分点列出原因和解决方法，并提供代码示例，方便用户直接应用。同时，要提醒用户注意数据一致性，避免后续处理错误。最后，总结最佳实践，帮助用户预防类似问题。</think>以下是 `ParserError: Error tokenizing data. C error: Expected 1 fields in line X, saw Y` 错误的详细分析和解决方案： --- ### **1. 错误原因** 该错误表示 **文件格式与解析预期不一致**，常见于 CSV/TSV 等结构化文本文件读取时。具体场景： - **第1642行的字段数量**与表头定义的列数不匹配（例如：表头有1列，但该行实际拆出了2列） - 根本原因可能是： - 数据中**包含未转义的分隔符**（如逗号、制表符） - **字段内容包含换行符**（如文本中有手动换行） - **引号（`"`）未正确闭合** - 文件存在**不完整行或多余空行** --- ### **2. 解决方法** #### **步骤1：直接定位问题行** 用文本编辑器打开文件，跳转到第1642行（或邻近行），检查以下特征： ```csv 错误示例： 正常行："id,content" 问题行："123,This is a text, with extra comma" # 多出一个逗号 ``` #### **步骤2：调整Pandas读取参数** 通过参数适配数据格式： ```python import pandas as pd # 尝试以下组合： df = pd.read_csv("data.csv", sep=",", # 明确指定分隔符（也可能是\t或其他字符） header=None, # 若文件无表头 quoting=3, # 处理引号问题（3代表QUOTE_NONE） error_bad_lines=False) # 跳过无法解析的行（慎用，会丢失数据） ``` #### **步骤3：修复数据格式** - **转义分隔符**：将字段内的逗号替换为其他符号（如中文逗号），或确保用引号包裹： ```csv 正确格式："123","This is a text, with escaped comma" ``` - **处理换行符**：删除字段内的换行符，或用引号包裹换行内容： ```csv 正确格式："456","Multi-line text" ``` #### **步骤4：使用更灵活的解析方式** 通过逐行读取处理复杂格式： ```python data = [] with open("data.csv", "r", encoding="utf-8") as f: for line in f: # 手动处理分隔符（例如替换特殊字符） cleaned_line = line.replace("内部逗号", "，") # 中文逗号替换 data.append(cleaned_line.split(",")) df = pd.DataFrame(data[1:], columns=data[0]) # 假设第一行是表头 ``` --- ### **3. 进阶排查工具** - 使用 `csv` 模块逐行调试： ```python import csv with open("data.csv", "r") as f: reader = csv.reader(f) for i, row in enumerate(reader): if i == 1641: # Python从0开始计数 print("问题行内容:", row) ``` --- ### **4. 最佳实践** 1. **数据清洗**：导入前用正则表达式预处理文件（如 `re.sub(r'(?<!"),(?!")', '，', text)` 替换非引号包裹的逗号） 2. **格式验证**：使用 `pd.io.common.get_handle` 检查文件一致性 3. **日志记录**：记录所有跳过的错误行，便于后续补全数据 --- 如果仍无法解决，可以上传文件片段或提供更多上下文，我会进一步分析！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值