对ChatGLM-6进行训练时提示：DatasetGenerationError: An error occurred while generating the dataset

最新推荐文章于 2025-04-09 17:34:23 发布
最新推荐文章于 2025-04-09 17:34:23 发布
阅读量828 收藏
点赞数 4
文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/z3h0a5n8g8x9i9a2o3/article/details/138802014
版权

通过重新安装datasets依赖包，没有效果，经过和之前可以训练的脚本文件进行对比，发现新的脚本中缺少关键字（我训练的脚本中包含两个关键字类似key/value），补上关键字后训练可以正常运行。

以上是本人碰到的一种出现DatasetGenerationError: An error occurred while generating the dataset这个问题的情况。

风中暮雨
关注
ChatGLM-6B LoRA微调实战（含完整代码）
L
10-24 475
本文将使用LoRA微调方法对ChatGLM-6B大模型进行微调。
【chromium】windows 更新代码并生成vs2022工程
突围
02-06 319
chromium
huggingface数据集加载错误；huggingface.datasets无法加载数据集和指标的解决方案：datasets.exceptions.DatasetGenerationError: A
点赞的都能无bug通过！
02-07 7091
我试过直接把这个Python文件下载下来，然后上传到服务器上，但是操作了半天也不行，因为这个Python文件里面给出的数据下载链接在谷歌云，但是直接把那个数据下下来上传还是不行，修改数据下载链接到S3文件也不行。指标的简单一点，只要把这个Python文件下载到本地（这个可以不用代理。对于不方便直接使用代理的情况，以下介绍我使用的解决方案：在本机使用代理，然后将文件上传到运行环境的解决方案。大略来说，我的成功做法就是现在本地加载数据集，然后储存到磁盘，然后将文件夹上传至服务器，并从磁盘直接加载数据集。
【问题解决】load_dataset报错An error occurred while generating the dataset
weixin_45615730的博客
10-04 4201
在_generate_examples函数里的，sat_data = xarray.open_dataset(filepath, engine=“zarr”, chunks=‘auto’)这一行，An error occurred while generating the dataset。我自己去HuggingFace上那个地址看了，发现load_dataset会调用"openclimatefix/goes-mrms"这个我找的地址下面上传的py文件，报错的意思就是这个py文件里的代码运行有报错。
Pytorch Dataset问题解决：数据集读取报错DatasetGenerationError或OSError
最新发布
WinterShiver
04-09 288
在huggingface上下载很大的数据集，用多个parquet文件的格式下载到本地。后来意识到，load_dataset加载的时候，进度条的数据量是跳变的，说明加载机制是读取每个parquet文件，读取完成后把这个文件的条目数加在总数上。能卡在一个具体的点上，说明出问题的是某一个parquet文件。由于校验流程比较麻烦耗时，平时下载数据集一般只简单看一下文件大小是否正确，如果每个文件的数据大小都正确，就直接开始做。这次的教训说明，当文件多了之后，校验还是很重要的。
自定义训练，使用Generator dataset迭代数据报错
weixin_45666880的博客
08-08 837
因为任务要求，我没有使用高层的model.train()接口，而是自定义训练过程，像pytorch那样训练，使用Generator Dataset迭代数据，第一个epoch数据正常迭代，下一个epoch就会报错。在每个epoch迭代之后，我都对dataset进行了reset，是不是我reset的位置不对或是少了什么东西？mindspore 1.3 Ascend 910环境。返回的数据量只有35 条，这个校验错误，所以报错了。根据报错的信息，你自定义的dataset 的。...
adpatch报错：An error occurred while generating Oracle Forms files.
系统运维
01-07 290
ERROR-----------------------------------The following Oracle Forms objects did not generate successfully:ont forms/US OEXOERLI.fmxAn error occurred while generating Oracle Forms files.Continue as if i...
Traceback (most recent call last): File "C:\Anaconda\envs\pytorch\lib\site-packages\datasets\builder.py", line 1855, in _prepare_split_single for _, table in generator: File "C:\Anaconda\envs\pytorch\lib\site-packages\datasets\packaged_modules\parquet\parquet.py", line 90, in _generate_tables if parquet_fragment.row_groups: File "pyarrow\\_dataset_parquet.pyx", line 386, in pyarrow._dataset_parquet.ParquetFileFragment.row_groups.__get__ File "pyarrow\\_dataset_parquet.pyx", line 393, in pyarrow._dataset_parquet.ParquetFileFragment.metadata.__get__ File "pyarrow\\_dataset_parquet.pyx", line 382, in pyarrow._dataset_parquet.ParquetFileFragment.ensure_complete_metadata File "pyarrow\\error.pxi", line 92, in pyarrow.lib.check_status pyarrow.lib.ArrowInvalid: Could not open Parquet input source '<Buffer>': Parquet file size is 0 bytes The above exception was the direct cause of the following exception: Traceback (most recent call last): File "C:\Users\31035\PycharmProjects\pythonProject1\main.py", line 12, in <module> dataset = load_dataset("imdb") File "C:\Anaconda\envs\pytorch\lib\site-packages\datasets\load.py", line 2084, in load_dataset builder_instance.download_and_prepare( File "C:\Anaconda\envs\pytorch\lib\site-packages\datasets\builder.py", line 925, in download_and_prepare self._download_and_prepare( File "C:\Anaconda\envs\pytorch\lib\site-packages\datasets\builder.py", line 1001, in _download_and_prepare self._prepare_split(split_generator, **prepare_split_kwargs) File "C:\Anaconda\envs\pytorch\lib\site-packages\datasets\builder.py", line 1742, in _prepare_split for job_id, done, content in self._prepare_split_single( File "C:\Anaconda\envs\pytorch\lib\site-packages\datasets\builder.py", line 1898, in _prepare_split_single raise DatasetGenerationError("An error occurred while generating the dataset") from e datasets.exceptions.DatasetGenerationError: An error occurred while generating the dataset Proce
03-29
好的，我现在需要解决用户在使用Hugging Face的datasets库加载IMDB数据集时遇到的Parquet文件大小为0字节导致的ArrowInvalid错误。首先，我得理解这个问题的可能原因和解决方法。根据用户提供的引用内容，尤其是引用...
llama factory 大数据量下训练失败
weixin_41046245的博客
06-11 2024
这个警告提示文件中缺少 SHA-1 哈希值。虽然这是一个警告，但它提示数据集的信息文件可能不完整或被篡改。这个错误表明你试图加载的数据集文件块太大，超过了int32_t能表示的最大值。这通常是因为数据集文件块的大小设置不当。这两个错误最终导致数据集生成失败，并抛出。
【Llama2-Chinese】使用lm-evaluation-harness-master对中文LLM评测
weixin_42316938的博客
12-19 2500
lm-evaluation-harness-master运行报错
datasets api 问题
andylei777的博客
10-16 708
datasetsAPI获取数据时也无法忽略其中一种错误，需要定位到底是哪种数据错误导致的 猜测1：是无法迭代的数据文件导致dataset的获取数据问题（没有任何错误提示） 验证1：datasets+estimator训练，也可以训练一阵子，然后报错 DataLossError (see above for traceback): corrupted record at 889902968，且总是
dataset 典型错误使用方法
tubaluer
09-18 498
做了开发好多年，只知道使用dataset的基本功能！只是把dataset作为离线数据的容器，感觉这样对待dataset这么强大的空间是一种侮辱，所以决定打算使用一周的时间来彻底研究一下dataset。 首先列一下使用过程中的出现的问题吧！ 第一步，把DATASET 和 DAGAGRIVE 绑定。具体代码如下 private void SETUI(DataSet ds) {...
解决An error occurred while creating the AVD. See idea.log for details问题
Asitisl的博客
09-04 6332
第一种解决办法：先卸载Android Emulator然后再次安装，我尝试了，但是没解决。最后我参考如下文章修改环境变量，更改了AVD的默认路径，成功解决。
datasets load_dataset_builder函数
weixin_49346755的博客
06-15 1914
函数说明 load_dataset_builder函数返回一个DatasetBuilder构造器对象，通过构造器可以生成Dataset数据集对象。参数path表示数据集的名字或者路径。可以是一个数据集的名字，比如"imdb"、“glue”；也可以是通用的产生数据集文件的脚本，比如"json"、“csv”、“parquet”、“text”；或者是在数据集目录中的脚本（.py)文件，比如“glue/glue.py”。参数name表示数据集中的子数据集，当一个数据集包含多个数据集时，就需要这个参数。比如"glue
python glob模块
weixin_49346755的博客
06-12 1279
glob模块时python标准库中一个重要的模块，主要用来查找符合特定规则的目录和文件，并将搜索的到的结果返回到一个列表中。该模块包含三个特殊的通配符∗、？、[]*、？、[]∗、？、[]以及三个函数glob()、iglob()、escape()。其中，∗*∗表示匹配一个或多个字符，？？？表示匹配一个字符，[][][]表示匹配指定范围内的一个字符。比如，[0-9]表示匹配一个数字，[a-z]表示匹配一个小写字母。 在glob模块中，使用∗∗**∗∗可以匹配任意字符，当∗∗**∗∗与recursive=Fals
HuggingFace使用datasets加载数据时 出现ConnectionError 无法获得数据 可以将数据保存到本地
热门推荐
weixin_43201090的博客
03-06 1万+
问题描述： from datasets import load_dataset #加载数据 dataset = load_dataset(path='seamew/ChnSentiCorp', split='train') dataset 报错 ConnectionError 原因分析： 网络问题 解决方案： 需要上网 注册谷歌Colab账号 不会的话看看另一篇博客 一个麻烦点的方法 Git下载 在Colab中新建笔记本 运行代码 下载完成后 将代码保存到google云端 从云端下载
transformers DataCollatorWithPadding类
weixin_49346755的博客
06-26 3420
在transfomers中，定义了一个DataCollator类，该类用于将数据集的单个元素打包成一批数据。DataCollatorWithPadding类是DataCollator类的一个实现类，该类在打包时将动态填充输入的数据。参数tokenizer表示输入的分词器。参数padding可以为bool类型，True表示填充，False表示不填充；也可以为字符串，表示填充策略，"longest"表示根据输入数据中最长的数据来进行填充，"max_length"表示填充至参数max_length设置的长度，“d
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值