Transformers-Datasets篇（公开数据集和自己数据集的数据预处理使用方法总结）

最新推荐文章于 2025-04-01 20:15:00 发布
最新推荐文章于 2025-04-01 20:15:00 发布
阅读量1k 收藏 20
点赞数 18
分类专栏： 学习笔记 算法实战 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LZL2020LZL/article/details/144604857
版权

导所有相关包：from datasets import *

大纲

一、对公开数据集完成数据预处理操作

1.在线加载数据集

下述方法都可以直接离线下载到本地文件夹下，进行使用。
只要在线执行一次，数据集就已经帮我们下载至默认地址中了。
C:\Users\ASUS.cache\huggingface\hub\datasets–madao33–new-title-chinese\snapshots\be61f6e55257d64aa16e6a5c09ef9451e3f24c40
在这里插入图片描述

例1，不加限定直接导入，这种情况针对只有一个数据集。

from datasets import *
datasets = load_dataset
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI大模型探索之路-训练篇12：语言模型Transformer库-Datasets组件实践
寻道AI，探索AI无限可能！
05-04 3494
在AI语言模型学习任务中，数据是至关重要的部分。一个高质量的数据集不仅决定了模型的上限，还影响着模型训练的效率和效果。然而，获取、处理和组织数据往往耗时耗力。为了简化这一过程，Hugging Face推出了Datasets组件，它集成了多种公开数据集，支持在线加载、筛选和预处理等功能。通过本文的介绍，我们将了解到如何利用Datasets组件快速加载和处理数据，为模型训练打下坚实基础。本文将从在线加载数据集开始，逐步介绍如何查看、划分、选取、过滤和映射数据集。
Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）
热门推荐
iioSnail的博客
08-08 7万+
1. Hugging Face是什么，提供了哪些内容 2. Hugging Face模型的使用（Transformer类库） 3. Hugging Face数据集的使用（Datasets类库）
swin-transformer训练自己的数据集＜自留＞
qq_45720073的博客
07-13 4255
使用swin-transformer训练自己的数据集
使用huggingface全家桶(transformers, datasets)实现一条龙BERT训练(trainer)和预测(pipeline)
blmoistawinde的博客
01-16 9310
使用huggingface全家桶(transformers, datasets)实现一条龙BERT训练(trainer)和预测(pipeline) huggingface的transformers在我写下本文时已有39.5k star，可能是目前最流行的深度学习库了，而这家机构又提供了datasets这个库，帮助快速获取和处理数据。这一套全家桶使得整个使用BERT类模型机器学习流程变得前所未有的简单。 不过，目前我在网上没有发现比较简单的关于整个一套全家桶的使用教程。所以写下此文，希望帮助更多人快速上手。
数据集的重要性——常见公开数据集及如何获取和处理数据
最新发布
04-01 1301
在人工智能（AI）和机器学习（ML）领域，数据集是模型训练的核心。一个高质量的数据集不仅能够提升模型的性能，还能直接决定算法的最终效果。本文将介绍数据集的重要性、常见的公开数据集来源，以及如何获取和处理这些数据。
【Transformers基础入门篇5】基础组件之Datasets
hjxu2016的博客
09-24 1800
dataset库是一个非常简单易用的数据集加载库，可以方便快捷的从本地或者HuggingFace Hub加载数据集公开数据集地址：# filed 指限定某个字段的数据。
Transformers实战——Datasets板块
厚积而薄发
11-17 1486
【代码】Transformers实战——Datasets板块。
Transformer模型实战训练（带数据集）
weixin_41973200的博客
10-16 7047
Transformer 模型，总共加起来不到 300 行代码，实际上如果你阅读过 GPT-2 和 BERT 的模型构建代码，你会发现它们也没有多少行，所以模型构建本身其实并不复杂，模型的构建过程就是整个深度神经网络的架构过程，虽然有一点难度，但是没有想象的那么难，而我认为难点在于预训练过程，既吃训练资源又需要考虑训练效果，如何调整参数让训练效果更好是难点，这和传统 CV 小模型有点类似。你可以参考我给出的代码。想要模型性能好，是要一步一步调的，这也是我们说前提要有大量的计算资源的原因。
SST-2数据集是什么；主流LLM微调方法及实现
ZJQ的博客
02-27 226
SST-2数据集是什么；主流LLM微调方法及实现
datasets 笔记： 文本数据集的预处理（Tokenization）
qq_40206371的博客
12-21 353
原先的text和label的基础上，多了input_ids，token_type_ids和attention_mask三个key。
《掌握Transformers训练＋预测看一篇即可》 详细讲解 如何使用“自己“数据集微调Transformers文本分类模型，并使用自己预训练的模型进行本地预测?
LZL2020LZL的博客
12-23 215
喜欢看文字的跟着我，我会挑重点的对上述课程的重要知识点融入自己的理解进行汇总。因为DataLoader里面有聚合的作用，因为label本身就是数字所以可以进行聚合成tensor，但是对于文本来说没用，因此需要重新改写聚合。，即在训练完成后加载最优模型，可以看见最优模型为-330，因此，我们将该文件夹拿出放在根目录下并取名为best_model。熟悉这个流程后，我们进行第二部分，对第一部分代码的优化。加上tokenizer的完整代码，此时的文本和标签的输出都变成了tensor，可以加载带网络中去啦。
sketch-transformer：快速建模！ 使用变压器的数据集
02-06
素描变压器 建模绘图，快速！ 使用变压器的数据集。 火车模型 $ python train.py --on-memory-dataset 预训练模型 一个预先训练的模型（ test llh: 3.002 assets/model_1000000.pt ）在assets/model_1000000.pt $ python train.py --num-transformer-layers=8 --dropout-rate=0.1 --batch-size=128 --learning-rate=1e-3 --on-memory-dataset --log-freq=10000 产生样品 $
PaddleHub：Transformer模型自定义数据集Finetune
m0_63642362的博客
11-03 1743
项目背景 近年来随着深度学习的发展，模型参数数量飞速增长，为了训练这些参数，需要更大的数据集来避免过拟合。然而，对于大部分NLP任务来说，构建大规模的标注数据集成本过高，非常困难，特别是对于句法和语义相关的任务。相比之下，大规模的未标注语料库的构建则相对容易。最近的研究表明，基于大规模未标注语料库的预训练模型（Pretrained Models, PTM) 能够习得通用的语言表示，将预训练模型Fine-tune到下游任务，能够获得出色的表现。另外，预训练模型能够避免从零开始训练模型。 使用PaddleHu
Swin-transformer纯目标检测训练自己的数据集
努力毕业的博客
04-22 1万+
在Windows或Ubuntu系统下，修改Swin-Transformer-Object-Detection代码以实现纯目标检测并训练自己的数据集！
超强总结！见数据集预处理方法
qkh1234567的博客
12-13 1199
在这篇文章中，将向你介绍一些入门的数据清洗、分词、词嵌入、特征选择、数据集划分方法，你可以根据自己的需要阅读相应的内容。
机器翻译和数据集、注意力机制、Transformer
weixin_45415299的博客
02-17 360
Transformer 模型以及自注意力机制 (Self-attention)
lucius-liu.cn
09-14 751
在 Transformer 之前，序列翻译任务（或者说与序列、时序相关的任务）通常采用 RNN、CNN 结构，其中 RNN 的缺点在于：（1）使用计算的先后次序，来表征序列中的先后信息，因此只能串行计算（2）长序列早期的信息可能会丢失；CNN 的缺点在于：捕捉相邻信息依赖卷积的窗口，因此对于长序列的信息可能需要很多层卷积。基于上述问题，Transformer 应运而生，提出新结构，用于实现（1）更好地并行化（2）更好地建模长序列。
Transformer
m0_53881899的博客
08-03 973
Transformer
【深度学习】Transformer梳理
gzr_csdn的博客
05-29 1846
对于transformer，网上的教程使用记号、术语不一。最关键的一点，网上各种图的简化程度不一，所以我打算自己手画一次图。**注意：**全连接层在概念上输入必须是一维向量，但是实际实现的时候我们会采用批处理将多个样本的向量组拼成矩阵，用矩阵乘法加速运算。如果用单一样本的向量来标注全文可能更清晰，但是为了更贴近实用，约定全文的输入长这个样子而不是向量：其实，输入也不是矩阵。。。输入是3维张量，三个维度分别是batch_size, number（当前用到的词数）, dimension（特征维度）
yolov7使用公开数据集
05-11
YOLOv7是一种深度学习算法，用于实现实时目标检测。这种算法可以使用公开的数据集，这些数据集包含了各种各样的图像和视频文件，用于训练模型，从而识别和分类不同的对象。 这些数据集可以来自许多来源，例如COCO和Pascal VOC等。这些数据集包含大量的图像和视频，在这些图像和视频中，可能包含了不同种类的对象，例如车辆、人、建筑等等。这些数据集还会标注每个对象的位置和类别，以便机器学习算法在学习过程中可以正确地识别和分类这些对象。 YOLOv7使用公开数据集来训练深度学习模型，以便能够在未知数据上运行良好。通过使用公开数据集进行训练，可以提高算法的准确性和可信度，因为它们被许多人使用和测试过。 使用公开数据集的一个好处是，可以节省时间和资源，因为这些数据集已经标注和分类好了。此外，这些数据集还可以与其他开发人员共享，以便进行更广泛的研究和测试。 总之，YOLOv7使用公开数据集是为了让算法更加准确和可靠，同时节省时间和资源，并且可以与其他人共享和处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值