pandas存储pkl格式报错invalid argument错误解决方法

最新推荐文章于 2022-03-28 08:37:06 发布
原创 最新推荐文章于 2022-03-28 08:37:06 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

当使用Pandas进行大文件存储遇到22invalidargument错误时，本文介绍了一种解决方案：采用hdf格式存储，它与pickle有相近的存储速度，但对大文件的兼容性更佳。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pandas 存储pickle如果出现 22 invalid argument错误的时候，有可能就是pickle不支持将如此大的数据序列化，可考虑使用hdf格式存储，和pickle有相似的速度，但是对大文件兼容的更好。

import pandas as pd
df = pd.DataFrame()
df.to_hdf('data.hdf', key='data')

 

sh39o
关注
AI4S - 开源 OpenFold: 蛋白质结构预测的 训练数据加载 扩展 教程(8)
AGI
11-03 1463
OpenFold Multimer 在训练过程的数据加载时，需要将 MSA 与 Template 信息转换成 Feature，再进行训练，这样速度较慢。通过修改数据集类 OpenFoldSingleMultimerDataset 的 __getitem__ 方法，可以加速训练过程。
2.python/pytorch编程debug
驽马十驾，功在不舍；锲而不舍，金石可镂。
05-10 1万+
快速解决python中的bug，这里总有你需要的。
pandas read_table 报错OSError: [Errno 22] Invalid argument
苏顺的博客
04-22 1642
环境如下 运行如下命令： >>> ratings = pd.read_table('E:\code\python\data-analyse\ml-25m\ratings.csv') 报错 Traceback (most recent call last): File "<stdin>", line 1, in <module> File "E:\tools\dev\python\python36\lib\site-packages\pandas\i..
Pycharm-pandas库打不开文件：Invalid argument:
weixin_45070839的博客
03-28 651
pandas库打不开文件，源代码如下 """ created by mattie date：0328 用pd打开csv文件 """ import pandas as pd def getContent(path): df = pd.read_csv(open(path), index_col=0) print(len(df)) print(df.head(2)) return df df=getContent("D:\mechine learning\transfe
mac系统Python Pickle报错：OSError: [Errno 22] Invalid argument
anlu的博客
03-27 748
问题描述 在Python代码中使用Pickle模块dump一个对象，报错： >>> with open(path, 'wb') as f: >>> pickle.dump(self, f) Traceback (most recent call last): File "<stdin>", line 1, in <module&gt...
【已解决】Python Pickle报错：OSError: [Errno 22] Invalid argument
小美哥的博客
01-12 4294
问题描述 在Python代码中使用Pickle模块dump一个对象，报错： &gt;&gt;&gt; with open(path, 'wb') as f: &gt;&gt;&gt; pickle.dump(self, f) Traceback (most recent call last): File "&lt;stdin&gt;", line 1, in &lt;module&gt...
python出现invalid argument什么意思_Python OSError: [Errno 22] Invalid argument:的出现和解决...
weixin_39733948的博客
11-24 1066
# -*- coding:utf8 -*-from chrome_spider import ChromeSpiderimport settingsfrom datetime import datetime"""author:power"""def write_to_file(path, data):with open(path, 'wb') as fs:fs.write(data.encode(...
PyTorch学习笔记（32）pytorch常见报错信息
qq_33357094的博客
03-05 3851
pytorch常见报错信息 1.报错： ValueError: num_samples should be a positive integer value, but got num_samples=0 可能的原因： 传入的Dataset中的len(self.data_info)==0，即传入该dataloader的dataset里没有数据 解决方法： 检查dataset中的路径，路径不对，读取...
【深度之眼】【Pytorch打卡第18天】：常见报错
huxw_magus的博客
08-17 1984
PyTorch中的常见报错总结 NO.1 报错：ValueError: num_samples should be a positive integer value, but got num_samples=0 可能的原因：传入的Dataset中的len(self.data_info)==0，即传入该dataloader的dataset里没有数据 解决方法： 检查dataset中的路径，路径不对，读取不到数据 检查Dataset的__len__()函数为何输出为零 # ===============
新冠知识图谱学习记录
j_447768433的博客
05-19 840
新冠知识图谱学习记录 基础任务安装 pycharml连接github login登录报错，可使用token登录。 安装Anaconda3 写挺好，可看一看 在命令行输入python出现“Warning:This Python interpreter is in a conda environment, but the environment has not been activated. Libraries may fail to load. To activate this environm
_pickle.UnpicklingError: invalid load key, 'H'.
热门推荐
weixin_38859557的博客
11-29 3万+
遇到一个很傻的问题： 关于au_ml 和keras的model导入问题， 两者的model导入是不一样的： au_ml:load_ml_model keras:load_model; 我一直在用load_ml_model导入keras的模型，排错的时候一直以为是我得数据问题，结果一直就是这个地方错了，害我 花了好长时间把数据问题的错误排除玩才找到它，...
OSError: [Errno 22] Invalid argument: 'E:\\DESK\x08ank dataset\train_set.csv'
liky_one的博客
04-17 2381
用pandas读取csv文件时遇到过多次bug，明明代码没问题，却不知道为什么一直报错。之前百度发现可以加入engine=“python”，就不会报错了。 后来加上这句也不行，不知道怎么突然发现报错内容中在E盘前面增加了一些内容，于是采用手动输入而不是直接复制解决了这个问题。 今天又报错了，百度得知如果名称全为英文即可，改成英文后仍然报错，于是又加了转义符“r”。终于得到了正确的结果。 所以以后请...
[Errno 22] Invalid argument 解决方案 python
yokan_de_s的博客
06-14 2万+
python读取一个json文本报出了[Errno 22] Invalid argument查了一下首先是第一个问题.\res\playlistdetail.json路径一定要写成/不能是\所以要写成./res/playlistdetail.json其次这个问题也可能读取数据过大造成的f.read(128*1024)分段读取,不要一次读出来....
python报错invalid argument_关于python：TensorFlow InvalidArgumentError / Value错误，代码变化很小...
weixin_35079144的博客
12-29 2679
代码：import numpy as npimport tensorflow as tfimport pandas as pdfrom sklearn.model_selection import train_test_splitx_data = np.linspace(0, 1000000, 1000)y_true = np.sin(x_data)y_true += np.random.rand...
python中invalid argument_Python 开发问题整理
weixin_39888080的博客
11-24 806
2019-09-10Flask-SQLAlchemy 根据mysql数据库表反向生成 model的 py文件数据表： 安装包：pip install flask-sqlacodegen执行命令参考：flask-sqlacodegen "mysql+pymysql://root:xiaoqinglin@127.0.0.1/db_demo"--tables running --outfile "tes...
运行Tensorboard 1.13.1 时报错：OSError:[Errno 22] Invalid argument
u013244846的博客
03-10 8095
利用最新版本Tensorboard运行TensorboardX官方demo（https://github.com/lanpa/tensorboardX ） 时， 出现以下BUG（承包了我一个下午哈哈）： 出现OSError，在此步骤前已经保证tensorboard与tensorflow安装版本一致，tensorboard系统变量路径正确，tensorboardX正确安装，主机名称设置为lo...
解决python中出现的不可见字符问题，OSError: [Errno 22] Invalid argument: ‘\u202a**.csv‘
囧疼她的博客
11-26 5646
解决python中出现的不可见字符问题，OSError: [Errno 22] Invalid argument: '\u202a**.csv'问题描述不可见控制字符解决方法 问题描述 今天遇到一个坑，读取文件时，在用到open函数时，始终报OSError: [Errno 22] Invalid argument:的错误，意思说文件路径错误。 pandas读取csv文件时，pandas自带open()运行报错误OSError: [Errno 22] Invalid argument: '\u202a**.c
pandas读取文件报错invalid non-printable character U+202A
最新发布
03-09
<think>好的，我现在要解决用户在使用Pandas读取文件时遇到的“无效不可打印字符U+202A”的错误。首先，我需要理解这个错误的原因。根据用户提供的引用内容，问题出在文件路径中包含了一个Unicode字符\u202a，这个字符通常是在从文件属性中复制路径时自动添加的，而用户可能没有注意到。这个字符在路径中是看不见的，但会导致Python无法正确识别路径，从而引发OSError。 接下来，我需要考虑用户可能尝试过的解决方法。比如，用户可能检查了路径中的反斜杠或中文字符，但根据引用[2]和[3]，这些问题并不是根源。正确的解决方法是避免从文件属性中复制路径，而是手动输入或从资源管理器地址栏复制。 然后，我需要整理出具体的解决步骤。首先，建议用户手动输入路径，或者从资源管理器的地址栏直接复制路径。这样可以避免引入隐藏的Unicode字符。同时，用户可能需要检查路径字符串中是否包含不可见字符，可以通过打印路径长度或使用repr函数来查看。此外，还可以使用Python的字符串处理方法来去除这些字符，比如使用strip或replace方法。 最后，我需要考虑用户可能遇到的其他相关问题，比如如何验证路径是否正确，或者如何预防此类问题再次发生。例如，建议用户使用原始字符串或Pathlib库来处理文件路径，这些方法可以减少路径处理中的错误。</think>### 问题分析 在使用Pandas读取文件时遇到错误`OSError: [Errno 22] Invalid argument:'\u202a...'`，原因是文件路径中包含了不可见的Unicode控制字符`U+202A`（LEFT-TO-RIGHT EMBEDDING）。该字符通常是因为从文件属性中直接复制路径导致的[^2][^3]。 --- ### 解决方法 #### 1. 手动输入路径 直接手动输入文件路径，避免从文件属性或第三方工具复制路径。例如： ```python import pandas as pd path = "F:/N49-N1120190525.csv" # 手动输入路径 df = pd.read_csv(path) ``` #### 2. 从资源管理器地址栏复制路径 在Windows资源管理器中： 1. 进入文件所在文件夹 2. 点击地址栏，直接复制路径（不要右键文件属性复制） 3. 粘贴后补充文件名，例如： ```python path = "C:/Users/Desktop/keliu.xlsx" # 从地址栏复制路径 ``` #### 3. 检查并清理路径中的隐藏字符 若已复制路径，可通过以下方式检查： ```python path = '\u202aC:/Users/Desktop/test.xlsx' print(repr(path)) # 输出：'\u202aC:/Users/Desktop/test.xlsx' # 清理隐藏字符 clean_path = path.strip('\u202a\u202b\u202c') # 移除Unicode控制字符 df = pd.read_csv(clean_path) ``` --- ### 验证路径是否合法 - **检查路径长度**：`print(len(path))`，若长度异常可能包含隐藏字符 - **使用`os.path.exists()`**： ```python import os if os.path.exists(clean_path): print("路径有效") else: print("路径无效") ``` --- ### 预防措施 - 优先使用`Pathlib`库处理路径（自动规范化路径）： ```python from pathlib import Path path = Path("F:/N49-N1120190525.csv") df = pd.read_csv(path) ``` - 避免混合正反斜杠，统一使用正斜杠`/`或双反斜杠`\\` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值