pandas存储pkl格式报错invalid argument错误解决方法

最新推荐文章于 2022-03-28 08:37:06 发布

sh39o

最新推荐文章于 2022-03-28 08:37:06 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/sh39o/article/details/88083309

当使用Pandas进行大文件存储遇到22invalidargument错误时，本文介绍了一种解决方案：采用hdf格式存储，它与pickle有相近的存储速度，但对大文件的兼容性更佳。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pandas 存储pickle如果出现 22 invalid argument错误的时候，有可能就是pickle不支持将如此大的数据序列化，可考虑使用hdf格式存储，和pickle有相似的速度，但是对大文件兼容的更好。

import pandas as pd
df = pd.DataFrame()
df.to_hdf('data.hdf', key='data')

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

sh39o

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

AI4S - 开源 OpenFold: 蛋白质结构预测的训练数据加载扩展教程(8)

AGI

11-03

1461

OpenFold Multimer 在训练过程的数据加载时，需要将 MSA 与 Template 信息转换成 Feature，再进行训练，这样速度较慢。通过修改数据集类 OpenFoldSingleMultimerDataset 的 __getitem__ 方法，可以加速训练过程。

2.python/pytorch编程debug

驽马十驾，功在不舍；锲而不舍，金石可镂。

05-10

1万+

快速解决python中的bug，这里总有你需要的。

参与评论您还未登录，请先登录后发表或查看评论

pandas read_table 报错OSError: [Errno 22] Invalid argument

苏顺的博客

04-22

1642

环境如下运行如下命令： >>> ratings = pd.read_table('E:\code\python\data-analyse\ml-25m\ratings.csv') 报错 Traceback (most recent call last): File "<stdin>", line 1, in <module> File "E:\tools\dev\python\python36\lib\site-packages\pandas\i..

Pycharm-pandas库打不开文件：Invalid argument:

weixin_45070839的博客

03-28

650

pandas库打不开文件，源代码如下 """ created by mattie date：0328 用pd打开csv文件 """ import pandas as pd def getContent(path): df = pd.read_csv(open(path), index_col=0) print(len(df)) print(df.head(2)) return df df=getContent("D:\mechine learning\transfe

mac系统Python Pickle报错：OSError: [Errno 22] Invalid argument

anlu的博客

03-27

747

问题描述在Python代码中使用Pickle模块dump一个对象，报错： >>> with open(path, 'wb') as f: >>> pickle.dump(self, f) Traceback (most recent call last): File "<stdin>", line 1, in <module&gt...

【已解决】Python Pickle报错：OSError: [Errno 22] Invalid argument

小美哥的博客

01-12

4294

python出现invalid argument什么意思_Python OSError: [Errno 22] Invalid argument:的出现和解决...

weixin_39733948的博客

11-24

1066

# -*- coding:utf8 -*-from chrome_spider import ChromeSpiderimport settingsfrom datetime import datetime"""author:power"""def write_to_file(path, data):with open(path, 'wb') as fs:fs.write(data.encode(...

PyTorch学习笔记（32）pytorch常见报错信息

qq_33357094的博客

03-05

3848

pytorch常见报错信息 1.报错： ValueError: num_samples should be a positive integer value, but got num_samples=0 可能的原因：传入的Dataset中的len(self.data_info)==0，即传入该dataloader的dataset里没有数据解决方法：检查dataset中的路径，路径不对，读取...

【深度之眼】【Pytorch打卡第18天】：常见报错

huxw_magus的博客

08-17

1984

PyTorch中的常见报错总结 NO.1 报错：ValueError: num_samples should be a positive integer value, but got num_samples=0 可能的原因：传入的Dataset中的len(self.data_info)==0，即传入该dataloader的dataset里没有数据解决方法：检查dataset中的路径，路径不对，读取不到数据检查Dataset的__len__()函数为何输出为零 # ===============

新冠知识图谱学习记录

j_447768433的博客

05-19

839

新冠知识图谱学习记录基础任务安装 pycharml连接github login登录报错，可使用token登录。安装Anaconda3 写挺好，可看一看在命令行输入python出现“Warning:This Python interpreter is in a conda environment, but the environment has not been activated. Libraries may fail to load. To activate this environm

_pickle.UnpicklingError: invalid load key, 'H'.

热门推荐

weixin_38859557的博客

11-29

3万+

遇到一个很傻的问题：关于au_ml 和keras的model导入问题，两者的model导入是不一样的： au_ml:load_ml_model keras:load_model; 我一直在用load_ml_model导入keras的模型，排错的时候一直以为是我得数据问题，结果一直就是这个地方错了，害我花了好长时间把数据问题的错误排除玩才找到它，...

OSError: [Errno 22] Invalid argument: 'E:\\DESK\x08ank dataset\train_set.csv'

liky_one的博客

04-17

2381

用pandas读取csv文件时遇到过多次bug，明明代码没问题，却不知道为什么一直报错。之前百度发现可以加入engine=“python”，就不会报错了。后来加上这句也不行，不知道怎么突然发现报错内容中在E盘前面增加了一些内容，于是采用手动输入而不是直接复制解决了这个问题。今天又报错了，百度得知如果名称全为英文即可，改成英文后仍然报错，于是又加了转义符“r”。终于得到了正确的结果。所以以后请...

[Errno 22] Invalid argument 解决方案 python

yokan_de_s的博客

06-14

2万+

python读取一个json文本报出了[Errno 22] Invalid argument查了一下首先是第一个问题.\res\playlistdetail.json路径一定要写成/不能是\所以要写成./res/playlistdetail.json其次这个问题也可能读取数据过大造成的f.read(128*1024)分段读取,不要一次读出来....

python报错invalid argument_关于python：TensorFlow InvalidArgumentError / Value错误，代码变化很小...

weixin_35079144的博客

12-29

2677

代码：import numpy as npimport tensorflow as tfimport pandas as pdfrom sklearn.model_selection import train_test_splitx_data = np.linspace(0, 1000000, 1000)y_true = np.sin(x_data)y_true += np.random.rand...

python中invalid argument_Python 开发问题整理

weixin_39888080的博客

11-24

805

2019-09-10Flask-SQLAlchemy 根据mysql数据库表反向生成 model的 py文件数据表：安装包：pip install flask-sqlacodegen执行命令参考：flask-sqlacodegen "mysql+pymysql://root:xiaoqinglin@127.0.0.1/db_demo"--tables running --outfile "tes...

解决python中出现的不可见字符问题，OSError: [Errno 22] Invalid argument: ‘\u202a**.csv‘

囧疼她的博客

11-26

5641

解决python中出现的不可见字符问题，OSError: [Errno 22] Invalid argument: '\u202a**.csv'问题描述不可见控制字符解决方法问题描述今天遇到一个坑，读取文件时，在用到open函数时，始终报OSError: [Errno 22] Invalid argument:的错误，意思说文件路径错误。 pandas读取csv文件时，pandas自带open()运行报错误OSError: [Errno 22] Invalid argument: '\u202a**.c

Python OSError: [Errno 22] Invalid argument:的出现和解决

陈凉树夏的博客

08-08

1万+

在学习python文件输入，尝试进行绝对路径文件读取的时候，遇到了Python OSError: [Errno 22] Invalid argument:的错误，同时在csdn上寻找到问题来源以及解决办法代码部分如下： pi_digits.txt: 3.1415926535 8979323846 2643383279 01_file_reader: with open(r'‪D:\...

pandas读取文件报错invalid non-printable character U+202A

最新发布

03-09

<think>好的，我现在要解决用户在使用Pandas读取文件时遇到的“无效不可打印字符U+202A”的错误。首先，我需要理解这个错误的原因。根据用户提供的引用内容，问题出在文件路径中包含了一个Unicode字符\u202a，这个字符通常是在从文件属性中复制路径时自动添加的，而用户可能没有注意到。这个字符在路径中是看不见的，但会导致Python无法正确识别路径，从而引发OSError。接下来，我需要考虑用户可能尝试过的解决方法。比如，用户可能检查了路径中的反斜杠或中文字符，但根据引用[2]和[3]，这些问题并不是根源。正确的解决方法是避免从文件属性中复制路径，而是手动输入或从资源管理器地址栏复制。然后，我需要整理出具体的解决步骤。首先，建议用户手动输入路径，或者从资源管理器的地址栏直接复制路径。这样可以避免引入隐藏的Unicode字符。同时，用户可能需要检查路径字符串中是否包含不可见字符，可以通过打印路径长度或使用repr函数来查看。此外，还可以使用Python的字符串处理方法来去除这些字符，比如使用strip或replace方法。最后，我需要考虑用户可能遇到的其他相关问题，比如如何验证路径是否正确，或者如何预防此类问题再次发生。例如，建议用户使用原始字符串或Pathlib库来处理文件路径，这些方法可以减少路径处理中的错误。</think>### 问题分析在使用Pandas读取文件时遇到错误`OSError: [Errno 22] Invalid argument:'\u202a...'`，原因是文件路径中包含了不可见的Unicode控制字符`U+202A`（LEFT-TO-RIGHT EMBEDDING）。该字符通常是因为从文件属性中直接复制路径导致的[^2][^3]。 --- ### 解决方法 #### 1. 手动输入路径直接手动输入文件路径，避免从文件属性或第三方工具复制路径。例如： ```python import pandas as pd path = "F:/N49-N1120190525.csv" # 手动输入路径 df = pd.read_csv(path) ``` #### 2. 从资源管理器地址栏复制路径在Windows资源管理器中： 1. 进入文件所在文件夹 2. 点击地址栏，直接复制路径（不要右键文件属性复制） 3. 粘贴后补充文件名，例如： ```python path = "C:/Users/Desktop/keliu.xlsx" # 从地址栏复制路径 ``` #### 3. 检查并清理路径中的隐藏字符若已复制路径，可通过以下方式检查： ```python path = '\u202aC:/Users/Desktop/test.xlsx' print(repr(path)) # 输出：'\u202aC:/Users/Desktop/test.xlsx' # 清理隐藏字符 clean_path = path.strip('\u202a\u202b\u202c') # 移除Unicode控制字符 df = pd.read_csv(clean_path) ``` --- ### 验证路径是否合法 - **检查路径长度**：`print(len(path))`，若长度异常可能包含隐藏字符 - **使用`os.path.exists()`**： ```python import os if os.path.exists(clean_path): print("路径有效") else: print("路径无效") ``` --- ### 预防措施 - 优先使用`Pathlib`库处理路径（自动规范化路径）： ```python from pathlib import Path path = Path("F:/N49-N1120190525.csv") df = pd.read_csv(path) ``` - 避免混合正反斜杠，统一使用正斜杠`/`或双反斜杠`\\` ---