load_from_disk报错filenotfound

最新推荐文章于 2025-05-22 00:08:49 发布
最新推荐文章于 2025-05-22 00:08:49 发布
阅读量517 收藏
点赞数 2
文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46324014/article/details/144773438
版权

报错：
full_train_dataset = load_from_disk(“data/exnli_e1/en/train”)
File “C:\Users\wq_15\AppData\Roaming\Python\Python39\site-packages\datasets\load.py”, line 2218, in load_from_disk
raise FileNotFoundError(
FileNotFoundError: Directory data/exnli_e1/en/train is neither a Dataset directory nor a DatasetDict directory.

如果仅有 .arrow 文件而没有 dataset_info.json 文件，确实可能会导致 datasets 库在尝试加载数据集时抛出 FileNotFoundError。

泡泡泡泡.
关注
二、ChIA-PET2——3、输入数据及报错
viola_的博客
05-23 1472
一、构建bwa的基因组索引文件 1、一步到位下载hg19基因组文件 wget -c ftp://gsapubftp-anonymous@ftp.broadinstitute.org/bundle/hg19/ucsc.hg19* 放入服务器 bwa index [ –p prefix ] [ –a algoType ] <in.db.fasta>#官网提供的命令 bwa index -a bwtsw hg19.fa#实际操作 最后生成文件：hg19.fa.amb、hg19.fa.ann、hg
pdfbox Could not load font file: C:\WINDOWS\FONTS\mstmc.ttf java.io.EOFException
z793397795的博客
09-23 2903
解决pdfbox Could not load font file: C:\WINDOWS\FONTS\mstmc.ttf 异常信息
Huggingface数据集采样之后得到的arrow文件无法用Dataset.load_from_disk加载解决方法
阿正的梦工坊
12-29 1968
手动生成并保存dataset_dict.json，dataset_info.json和state.json文件
BUG解决：load_from_disk ValueError: Protocol not known
yscript的博客
01-24 231
BUG解决：load_from_disk ValueError: Protocol not known
huggingface下载的.arrow数据集读取与使用说明
阿旭的博客
04-25 1万+
huggingface下载的arrow数据集读取与使用说明
【huggingface】数据集及模型下载并保存至本地
热门推荐
lorogy的博客
09-04 4万+
数据集及模型下载及保存
aapt的使用
快乐生活的专栏
02-17 1万+
aapt：Android Asset Packaging Tool , 在SDK的tools/目录下. 该工具可以查看, 创建, 更新ZIP格式的文档附件(zip, jar, apk). 也可将资源文件编译成二进制文件. 同步软件中得到apk信息就是用的这么一个android已经提供好的工具。 aapt d[ump] [--values] WHAT file.{apk} [asset [a
huggingface下载并加载本地数据集
lishijie258的博客
04-24 2946
如to_csv、to_pandas、to_dict、to_json等。下载至当前页面的opus100文件夹下。下载后的文件如图所示。
mysql load data遇到的两个错误和解决方法
weixin_33978044的博客
12-13 3949
1.load数据遇到报错1 mysql> load data infile "/root/mysql_test/mysql_t1data" into table t1; ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this sta...
dell kvm java 会话报错_kvm常见故障及解决方案
weixin_42400074的博客
02-23 1395
一、启动虚拟机Connection reset by peer# virsh start vmhost1error: Failed to start domain vmhost1error: Unable to read from monitor: Connection reset by peer在虚拟机运行过程中关闭宿主服务器就有可能导致这种情况出现，由于宿主服务器中的kvm虚拟机控制器与安装在...
ios新热修复demo
05-21
ios新热修复demo，提供一个热修复的应用方式，基于Aspect的应用
kubesphere报错
qiao2458的博客
06-04 1550
kubernetes离线安装过程报错
命名实体识别代码阅读
dfhg54的博客
02-21 2047
【python】——Python中的*和**的作用和含义_Kadima°的博客-优快云博客_python * **理解‘*‘,‘*args‘,‘**‘,‘**kwargs‘_callinglove的博客-优快云博客#定义下游模型self.tuneing = False #fineturn预设为0self.pretrained = None #默认情况下，预训练模型不属于下游任务的一部分#下游任务if self.tuneing: #如果tuning,则认为自己的预训练模型也要训练。
HuggingFace学习笔记--datasets的使用
牵一只蜗牛去散步
11-27 5647
1--datasets的使用。1--datasets的使用。1-3--打乱和排序数据集。1-4--选择和筛选数据集。1-1--加载数据集。1-2--查看数据集。1-5--划分数据集。1-6--修改数据集。1-7--导出数据集。
使用pytorch自定义DataSet，以加载图像数据集为例，实现一些骚操作
我亦是行人
03-13 4237
使用pytorch自定义DataSet，以加载图像数据集为例，实现一些骚操作 总共分为四步 构造一个my_dataset类，继承自torch.utils.data.Dataset 重写__getitem__ 和__len__ 类函数 建立两个函数find_classes、has_file_allowed_extension，直接从这copy过去 建立my_make_dataset函数用来构造(path,lable)对 一、构造一个my_dataset类，继承自torch.utils.data.Data
Transformers实战——使用本地数据进行AclImdb情感分类
HMT的博客
04-01 4155
使用本地数据进行AclImdb情感分类
colab中数据集保存到drive与取出的方法
m0_56997192的博客
03-20 972
【代码】colab中数据集保存到drive与取出的方法。
数据集下载并保存本地进行加载
最新发布
小白的博客
05-22 287
本文介绍了如何使用Hugging Face库进行数据集的下载、保存和本地加载。首先，通过load_dataset函数从Hugging Face下载指定数据集，并设置缓存目录。接着，使用save_to_disk方法将数据集保存到本地。最后，通过load_from_disk函数从本地加载数据集。文章还展示了每一步的代码示例和运行测试结果。关于Modelscope的内容尚未补充。
Transformers实战——Datasets板块
厚积而薄发
11-17 1513
【代码】Transformers实战——Datasets板块。
load_from_disk报错
03-10
<think>好的，我现在需要解决用户在使用`load_from_disk`时遇到的报错问题。用户提到之前有遇到`AttributeError: readonly attribute`的错误，现在想解决这个问题。首先，我得了解这个错误通常发生在什么情况下，可能的原因有哪些。 根据用户提供的引用[3]，他们在加载IMDb数据集时使用了`load_dataset`，然后尝试保存到磁盘，但在后续步骤中可能遇到了问题。`load_from_disk`报错可能有几个原因：文件权限问题、数据集保存不完整、缓存冲突，或者库版本不兼容。 首先考虑权限问题。如果保存数据集的目录没有写入权限，或者文件被设置为只读，就会导致读取时出错。用户需要检查目录的权限，确保程序有足够的权限访问。比如在Linux下可以用`chmod`修改权限，Windows则需要取消只读属性。 其次是数据集保存不完整。可能在保存过程中被中断，导致文件损坏。这时需要重新保存数据集，确保过程顺利完成。用户应该删除原有的损坏文件，再次运行保存命令，并确认没有错误提示。 缓存问题也可能导致错误。Hugging Face的datasets库有时会使用缓存，如果缓存损坏或冲突，可能引发问题。用户可以尝试清除缓存，通常位于`~/.cache/huggingface/datasets`，或者指定不同的缓存路径，避免冲突。 另外，版本兼容性也不容忽视。如果datasets库版本过旧，可能存在已知的bug。建议用户升级到最新版本，或者安装与代码兼容的版本。可以通过`pip install --upgrade datasets`来升级。 还有可能是路径问题。用户提供的路径可能存在拼写错误，或者使用了绝对/相对路径不正确。需要检查路径是否正确，并尝试使用绝对路径来排除疑问。 最后，用户提到的引用[2]中提到了修改文件夹名称来避免删除操作，这可能与缓存文件夹的命名有关。如果保存或加载时路径被修改过，可能导致加载失败，需要确保路径的一致性。 综合以上可能，我应该分步骤给出解决方案，让用户逐一排查。例如先检查权限，再重新保存数据集，清除缓存，检查路径，升级库版本等。同时，提醒用户注意代码中的路径是否正确，避免拼写错误。 另外，用户提供的示例中提到了Python代码，需要确保在保存和加载时使用的函数正确。例如，保存时使用`dataset.save_to_disk("./dataset_imdb")`，加载时应该用`load_from_disk("./dataset_imdb")`，路径必须一致，并且目录存在。 最后，可能需要用户提供具体的错误信息，以便更精确地定位问题。如果以上步骤无效，建议查看完整的报错信息，进一步分析原因。</think>### 解决`load_from_disk`报错的步骤 #### 1. **检查文件权限** - **问题**：数据集保存目录可能被设置为只读或无写入权限。 - **解决方案**： - **Linux/Mac**：运行`chmod -R 755 ./dataset_imdb`修改目录权限。 - **Windows**：右键文件夹 → 属性 → 取消“只读”属性[^3]。 - **验证**：尝试手动创建或删除目录中的文件，确认权限正常。 #### 2. **重新保存数据集** - **问题**：数据集保存时可能中断或损坏。 - **解决方案**： ```python # 删除原数据集目录（谨慎操作！） import shutil shutil.rmtree("./dataset_imdb", ignore_errors=True) # 重新下载并保存 dataset = load_dataset("pietrolesci/imdb") dataset.save_to_disk("./dataset_imdb") ``` - **注意**：确保保存过程完整执行，无报错。 #### 3. **清除缓存冲突** - **问题**：Hugging Face 缓存可能损坏或冲突[^2]。 - **解决方案**： - 清除默认缓存目录： ```bash rm -rf ~/.cache/huggingface/datasets ``` - 或指定新缓存路径： ```python from datasets import set_caching_enabled set_caching_enabled(False) # 临时禁用缓存 dataset = load_dataset("pietrolesci/imdb", cache_dir="./new_cache") ``` #### 4. **检查库版本兼容性** - **问题**：`datasets`库版本过旧或存在bug。 - **解决方案**： - 升级到最新版本： ```bash pip install --upgrade datasets ``` - 或回退稳定版本（如v2.15.0）： ```bash pip install datasets==2.15.0 ``` #### 5. **验证路径正确性** - **问题**：路径拼写错误或相对路径混乱。 - **解决方案**： - 使用绝对路径： ```python dataset = load_from_disk("/home/user/project/dataset_imdb") ``` - 检查路径是否存在： ```python import os print(os.path.exists("./dataset_imdb")) # 应输出True ``` #### 6. **查看完整报错信息** - 若仍失败，需提供完整的错误堆栈（如`PermissionError`或`FileNotFoundError`），以便针对性解决。 --- ### 示例代码（修复后） ```python from datasets import load_dataset, load_from_disk # 下载并保存数据集（确保权限和路径正确） dataset = load_dataset("pietrolesci/imdb") dataset.save_to_disk("./dataset_imdb") # 确认无报错 # 加载数据集 try: reloaded_dataset = load_from_disk("./dataset_imdb") print(reloaded_dataset) except Exception as e: print(f"错误详情: {e}") ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值