ValueError: Invalid pattern: ‘**‘ can only be an entire path component

加载数据集

from datasets import load_dataset, load_from_disk

dataset_name="Dahoas/rm-static"

raw_datasets = load_dataset(dataset_name)

第3行报错,ValueError: Invalid pattern: ‘**‘ can only be an entire path component,查看datasets 版本为2.0.0,另一个conda 环境可以正常执行,另一个环境的datasets 版本为3.0.2,升级第一个的环境的datasets 版本,由2.0.0升级为3.0.2 发现不再报错

 README.md: 530B [00:00, 729kB/s]                                                        
dataset_infos.json: 926B [00:00, 1.58MB/s]                                              
(…)-00000-of-00001-2a1df75c6bce91ab.parquet: 100%|█| 68.4M/68.4M [00:08<00:00, 7.80MB/s]
(…)-00000-of-00001-8c7c51afc6d45980.parquet: 100%|█| 4.61M/4.61M [00:00<00:00, 8.58MB/s]
Generating train split: 100%|██████████| 76256/76256 [00:00<00:00, 490199.33 examples/s]
Generating test split: 100%|█████████████| 5103/5103 [00:00<00:00, 631633.52 examples/s]

参考资料:

报错处理 - load_dataset | ValueError: Invalid pattern: ‘**‘ can only be an entire path component_valueerror: invalid pattern: '**' can only be an e-优快云博客

ValueError: Invalid pattern: ‘**‘ can only be an entire path component-优快云博客 

`ValueError: Invalid pattern: '**' can only be an entire path component` 这个错误通常在使用文件路径模式匹配时出现,当 `**` 没有作为完整的路径组件使用时就会触发。在使用 `datasets` 库的 `load_dataset` 函数时出现该错误,可能是数据集路径或配置存在问题。以下是一些可能的解决方法: #### 1. 检查数据集名称和路径 确保数据集名称 `kigner/ruozhiba-llama3` 是正确的,并且该数据集在 Hugging Face Hub 上是公开可用的。可以通过访问 Hugging Face Hub 的网站(https://huggingface.co/datasets)来验证数据集是否存在。 ```python from datasets import load_dataset try: dataset = load_dataset("kigner/ruozhiba-llama3", split="train") print("数据集加载成功!") except Exception as e: print(f"加载数据集时出现错误: {e}") ``` #### 2. 检查本地缓存 如果之前已经下载过该数据集,可能是本地缓存文件损坏。可以尝试清除本地缓存,然后重新下载数据集。 ```python from datasets import load_dataset, disable_caching # 禁用缓存 disable_caching() try: dataset = load_dataset("kigner/ruozhiba-llama3", split="train") print("数据集加载成功!") except Exception as e: print(f"加载数据集时出现错误: {e}") ``` #### 3. 更新 `datasets` 库 确保你使用的是 `datasets` 库的最新版本,旧版本可能存在一些已知的问题。可以使用以下命令更新: ```bash pip install --upgrade datasets ``` #### 4. 检查网络连接 有时网络问题可能导致数据下载不完整或出现错误。确保你的网络连接稳定,并且可以访问 Hugging Face Hub。 #### 5. 手动下载数据集 如果以上方法都无法解决问题,可以尝试手动下载数据集到本地,然后使用 `load_dataset` 从本地加载。 ```python from datasets import load_dataset # 假设数据集下载到了本地的 /path/to/dataset 目录 dataset = load_dataset('/path/to/dataset', split="train") ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值