Coggle数据科学 | Kaggle干货：自定义transformers数据集

最新推荐文章于 2024-10-16 11:12:22 发布

双木的木

最新推荐文章于 2024-10-16 11:12:22 发布

阅读量1.2k

点赞数 22

分类专栏： Transformer专栏文章标签：人工智能 nlp python 深度学习神经网络卷积神经网络 kaggle

本文链接：https://blog.youkuaiyun.com/csdn_xmj/article/details/138021434

版权

本文来源公众号“Coggle数据科学”，仅用于学术分享，侵权删，干货满满。

原文链接：Kaggle干货：自定义transformers数据集

transformers是现在NLP同学必备的库，但在使用的过程中主要的代码是需要自定义数据集，那么如何舒服的读取数据，并使用transformers进行训练模型呢？

本文的内容如下：

自定义文本数据集
使用transformers中trainer训练
使用Pytorch自定义训练流程

步骤1：读取IMDb Reviews

IMDb Reviews是比较常见的英文情感分类的数据集，主要完成文本多分类任务。我们首先需要读取数据，并处理数据。

下载数据

# 如下为shell命令
wget http://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz
tar -xf aclImdb_v1.tar.gz

划分数据集

from sklearn.model_selection import train_test_split
train_texts, val_texts, train_labels, val_labels = train_test_split(train_texts, train_labels, test_size=.2)

对文本进行编码

这里建议提前将文本进行编码，不建议动态进行编码，可以节约时间。

from transformers import DistilBertTokenizerFast
tokenizer = DistilBertTokenizerFast.from_pretrained('distilbert-base-uncased')

train_encoding

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

双木的木

关注关注

22
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Transformer大模型实战用更多的数据集进行训练

AI天才研究院

10-04

1241

近年来，深度学习在自然语言处理（NLP）领域取得了显著的进展，其中Transformer模型因其出色的性能和灵活性，成为了NLP领域的主流模型之一。然而，Transformer模型的训练过程需要大量的数据进行预训练，这给资源有限的实验室和研究者带来了挑战。使用更多的数据集进行训练的核心思想是利用数据集的多样性，使模型能够学习到更丰富的语言特征。收集更多的数据集，包括预训练数据集和微调数据集。对数据集进行预处理，包括分词、清洗、去除停用词等。将数据集划分成训练集、验证集和测试集。

sketch-transformer：快速建模！使用变压器的数据集

02-06

素描变压器建模绘图，快速！使用变压器的数据集。火车模型 $ python train.py --on-memory-dataset 预训练模型一个预先训练的模型（ test llh: 3.002 assets/model_1000000.pt ）在assets/model_1000000.pt $ python train.py --num-transformer-layers=8 --dropout-rate=0.1 --batch-size=128 --learning-rate=1e-3 --on-memory-dataset --log-freq=10000 产生样品 $

参与评论您还未登录，请先登录后发表或查看评论

Kaggle干货：自定义transformers数据集

fengdu78的博客

09-27

1361

transformers是现在NLP同学必备的库，但在使用的过程中主要的代码是需要自定义数据集，那么如何舒服的读取数据，并使用transformers进行训练模型呢？本文的内容如下：自定义文本数据集使用transformers中trainer训练使用Pytorch自定义训练流程步骤1：读取IMDb ReviewsIMDb Reviews是比较常见的英文情感分类的数据集，主要完成文本多分类任务。我们...

PaddleHub：Transformer模型自定义数据集Finetune

m0_63642362的博客

11-03

1752

项目背景近年来随着深度学习的发展，模型参数数量飞速增长，为了训练这些参数，需要更大的数据集来避免过拟合。然而，对于大部分NLP任务来说，构建大规模的标注数据集成本过高，非常困难，特别是对于句法和语义相关的任务。相比之下，大规模的未标注语料库的构建则相对容易。最近的研究表明，基于大规模未标注语料库的预训练模型（Pretrained Models, PTM) 能够习得通用的语言表示，将预训练模型Fine-tune到下游任务，能够获得出色的表现。另外，预训练模型能够避免从零开始训练模型。使用PaddleHu

Transformer模型实战训练（带数据集）

最新发布

weixin_41973200的博客

10-16

7751

Transformer 模型，总共加起来不到 300 行代码，实际上如果你阅读过 GPT-2 和 BERT 的模型构建代码，你会发现它们也没有多少行，所以模型构建本身其实并不复杂，模型的构建过程就是整个深度神经网络的架构过程，虽然有一点难度，但是没有想象的那么难，而我认为难点在于预训练过程，既吃训练资源又需要考虑训练效果，如何调整参数让训练效果更好是难点，这和传统 CV 小模型有点类似。你可以参考我给出的代码。想要模型性能好，是要一步一步调的，这也是我们说前提要有大量的计算资源的原因。

PyTorch实战：利用Vision Transformer进行自定义数据集二分类

daimakezhan_cn_d的博客

06-09

362

视觉转换器是深度学习领域中流行的转换器之一。在视觉转换器出现之前，我们不得不在计算机视觉中使用卷积神经网络来完成复杂的任务。随着视觉转换器的引入，我们获得了一个更强大的计算机视觉任务模型。在本文中，我们将学习如何将视觉转换器用于图像分类任务。print(

利用Transformers自定义一个神经网络结构

from top to bottom

06-08

553

利用Transformers自定义一个神经网络结构

【Pytorch】【Transformers】一个基于transformers的自定义命名实体识别模型示例

bqw的博客

07-03

4055

本篇博客希望展示如何基于transformers提供的功能进行模型的开发，减少代码量，提高开发速度。 import torch import warnings import torch.nn as nn from torch import Tensor from typing import List, Dict from dataclasses import dataclass, field from torch.nn.utils.rnn import pad_sequence from torch.ut

transformers训练自己的数据集实战

weixin_38241876的博客

11-19

5184

""" 使用IMDb评论进行序列分类 """ #先下载数据 # wget http://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz # tar -xf aclImdb_v1.tar.gz #整理文件 from pathlib import Path def read_imdb_split(split_dir): split_dir = Path(split_dir) texts = [] labels = [].

Swin-transformer纯目标检测训练自己的数据集

热门推荐

努力毕业的博客

04-22

1万+

在Windows或Ubuntu系统下，修改Swin-Transformer-Object-Detection代码以实现纯目标检测并训练自己的数据集！

基于Kaggle学习MONAI（二）轻松上手 transforms（上）

huohuosum的博客

05-22

1407

transforms是MONAI提供的数据预处理API，可以用来进行数据加载、保存，还可以进行图像旋转、尺度缩放、裁剪等常规图像处理功能。本文详细介绍在Kaggle平台如何实现MONAI transforms的常用操作。今天介绍了MONAI框架transforms所涉及的一些基本操作，包括数据装载LoadImaged、通道优先EnsureChannelFirstd和尺寸缩放Resized，并通过可视化看到了变换后的结果。

编写transformers的自定义pytorch训练循环（Dataset和DataLoader解析和实例代码）

qq_56591814的博客

09-25

5732

1.torch.utils.data torch.utils.data主要包括以下三个类： class torch.utils.data.Dataset 其他的数据集类必须是torch.utils.data.Dataset的子类,比如说torchvision.ImageFolder. class torch.utils.data.sampler.Sampler(data_source) 参数: data_source (Dataset) – dataset to sample from 作用: 创建一个采

用PyTorch构建Transformer模型实战

qianggezhishen的专栏

08-08

1418

多头注意力机制计算序列中每对位置之间的注意力。它由多个“注意力头”组成，这些头捕获输入序列的不同方面。图1. 多头注意力# 确保模型维度（d_model）可以被注意力头数整除assert d_model % num_heads == 0, "d_model必须能被num_heads整除"# 初始化维度self.d_model = d_model # 模型的维度self.num_heads = num_heads # 注意力头的数量。

Transformer

m0_53881899的博客

08-03

989

Transformer

深度学习 | Transformer模型及代码实现

"You are worthy! You can do it!"

01-01

7773

Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。

Transformer 模型以及自注意力机制 (Self-attention)

lucius-liu.cn

09-14

765

在 Transformer 之前，序列翻译任务（或者说与序列、时序相关的任务）通常采用 RNN、CNN 结构，其中 RNN 的缺点在于：（1）使用计算的先后次序，来表征序列中的先后信息，因此只能串行计算（2）长序列早期的信息可能会丢失；CNN 的缺点在于：捕捉相邻信息依赖卷积的窗口，因此对于长序列的信息可能需要很多层卷积。基于上述问题，Transformer 应运而生，提出新结构，用于实现（1）更好地并行化（2）更好地建模长序列。

WDK学习笔记_Kaggle_Transformer_docker

sunningzhzh的博客

01-09

1089

文章目录摘要一、pandas是什么？二、使用步骤总结摘要一、pandas是什么？二、使用步骤总结

Transformer简明教程 P11 定义模型

xd0dx的博客

03-18

665

# 编码器层 # 这是一层 class EncoderLayer(torch.nn.Module): def __init__(self): super().__init__() # 多头注意力层 self.mh = MultiHead() self.fc = FullyConnectedOutput() def forward(self, x, mask): # 计算自注意力,维度不变 # [

NLP模型（五）——Transformer模型实现（以一个小型文本翻译为例子）

ifhuke的博客

09-01

1751

Transformer的手动实现，从零开始，以一个文本翻译的数据集为例子