Transformer模型涉及到的框架及任务类型

原创 已于 2022-06-21 11:53:22 修改 · 474 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #人工智能 #深度学习

于 2022-06-21 11:51:57 首次发布
本文概述了Transformer模型如何通过编码器处理句子分类、命名实体识别和抽取式问答任务，解码器用于文本生成，以及Encoder+Decoder在摘要、翻译和生成性问题回答中的应用。重点介绍了不同框架如BERT和T5的应用实例。
部署运行你感兴趣的模型镜像

Transformer可以直接使用完整的架构，也可以只使用编码器或解码器，这取决于你的目标是解决什么样的任务，下表对此进行了总结 ↓

Model涉及到哪些框架任务类型
Encoder部分ALBERT, BERT, DistilBERT, ELECTRA, RoBERTaSentence classification【句子分类】, named entity recognition【命名实体识别】, extractive question answering【抽取式问答】
Decoder部分CTRL, GPT, GPT-2, Transformer XLText generation【文本生成】
Encoder+DecoderBART, T5, Marian, mBARTSummarization【摘要】, translation【翻译】, generative question answering【生成性问题回答】

您可能感兴趣的与本文相关的镜像

Qwen3-8B

Qwen3-8B

文本生成
Qwen3

Qwen3 是 Qwen 系列中的最新一代大型语言模型，提供了一整套密集型和专家混合（MoE）模型。基于广泛的训练，Qwen3 在推理、指令执行、代理能力和多语言支持方面取得了突破性进展

精选资源
基于Transformer实现文本预测任务 数据集
04-26
Transformer模型是深度学习领域中的一个里程碑式创新，尤其在自然语言处理（NLP）任务中，它极大地推动了序列建模的进步。Transformer的核心思想在于利用自注意力（Self-Attention）机制替代传统的循环神经网络（RNN...
【计算机科学】基于PyTorch的手工复现Transformer模型：自然语言处理领域机器翻译任务的实现与评估
08-02
本文详细介绍了Transformer模型的手工复现过程，基于经典论文《Attention Is All You Need》及其配套博客《The Annotated Transformer》，在PyTorch框架下从零实现Transformer的核心模块，并在WMT 2014英德翻译任务...
transformer用作分类任务
buyaotutou的博客
12-23 1204
数据准备：加载并标准化MNIST数据集，将图像展平并切分为patches。位置编码：为每个patch添加位置编码。Transformer编码器：输入展平后的patches并通过Transformer编码器处理。池化：通过池化操作将每个patch的表示聚合成一个全局向量表示。分类头：通过全连接层进行数字分类，输出10个类别的概率分布。训练和优化：使用交叉熵损失进行训练，优化模型参数。评估：评估模型的分类准确率。
六项任务、多种数据类型，谷歌、DeepMind提出高效Transformer评估基准
weixin_36896856的博客
11-30 318
点击上方“AI遇见机器学习”，选择“星标”公众号重磅干货，第一时间送达来自：机器之心自诞生以来，Transformer在不同领域得到了广泛应用，研究人员也提出了许多高效 Transfo...
Transformer实战（18）——微调Transformer语言模型进行回归分析
最新发布
盼小辉丶的博客
09-13 1529
本节介绍了如何基于预训练 DistilBert 架构完成语义相似度回归分析。首先，通过修改配置或传参的方式，为模型顶层添加单神经元回归头；随后，借助 STS-B 数据集构建训练、验证与测试集，并应用分词器生成模型输入。接着，使用 Trainer 框架与自定义的 compute_metrics 函数，对模型在 MSE、RMSE、MAE 及 Pearson 和 Spearman 相关性等多维度指标上进行评估，验证了微调方法在回归任务中的有效性。
【总结】Transformer预训练任务总结
Finks
12-29 999
transformer预训练模型使用记录
基于Transformer实现Twitter文本隐喻二分类
优快云 精品推荐
10-15 2483
该数据集由公司数字八创建，最初在其“人人享有数据”网站上共享。推特来源：https://twitter.com/AnyOtherAnnaK/status/6291959555067084802017 年，Google 提出了 Transformer 模型，用 Self Attention 的结构，取代了以往 NLP 任务中的 RNN 网络结构，在 WMT 2014 Englishto-German 和 WMT 2014 English-to-French两个机器翻译任务上都取得了当时 SOTA 的效果。
深度学习基于DTAB模块的Swin Transformer模型改进：图像分类任务中的特征提取与前馈网络优化
04-22
使用场景及目标：①理解Transformer模型中局部特征提取和全局注意力机制的结合方式；②掌握如何在预训练模型基础上构建新的分类头以适应特定任务；③学习如何利用PyTorch实现自定义神经网络模块。; 阅读建议：由于...
精选资源
torch框架下利用transformer模型进行文本分类
09-08
在深度学习领域，PyTorch（torch）框架以其灵活性和易用性被广泛采用，尤其在自然语言处理（NLP）任务中。本教程将详细阐述如何在PyTorch环境中运用Transformer模型进行文本分类，这对于初学者来说是一个很好的实践...
精选资源
深度学习基于PyTorch的自注意力机制增强Vision Transformer模型设计：图像分类任务优化
04-22
内容概要：本文档展示了如何在PyTorch中实现自注意力机制（Self-Attention）并将其应用于Vision Transformer（ViT）模型。首先定义了一个`SelfAttention`类，该类实现了多头自注意力机制，包括查询、键、值的线性...
Keras构建用于分类任务的Transformer（Vision Transformer/VIT）
热门推荐
QAQIknow的博客
08-28 1万+
文章目录一、Vision Transformer (ViT)详细信息二、Vision Transformer结构三、Keras实现3.1 相关包3.2 数据读取3.3 声明超参数3.4 使用数据增强方法3.5 计算训练数据的平均值和方差进行归一化3.6 定义multilayer perceptron (MLP)3.7 定义块3.8 数据可视化3.9 实现Encoding Layer3.10 构建ViT模型3.11 训练+评估（AdamW可以换成Adam，效果可能还更好）四、完整代码 一、Vision Tra
【Transformer 练习】点分类任务（单步+整合code）
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
12-24 597
【Transformer 练习】点分类任务（单步+整合code）
利用transformer完成文本分类任务
step by step
09-08 920
直接使用transformer库即可完成此任务。
Transformer 机器翻译任务（上）
songyang66的博客
11-23 3103
transformer 架构解析和代码编写，学习唐宇迪老师的
新闻文本分类任务：使用Transformer实现
WeLearnNLP
03-23 3168
自然语言处理（NLP）领域中的新闻文本分类任务旨在将一段文本自动分类到某个预定义的类别中，例如体育、政治、科技、娱乐等等。这是一个重要的任务，因为在日常生活中，我们需要处理各种类型的文本，并且需要在其中找到特定的信息。新闻文本分类任务的自动化可以帮助我们更快地了解大量的文本，并提供更好的搜索和推荐服务。在本文中，我们将介绍一些新闻文本分类任务的最新研究，并探讨它们的优势和劣势。
【李宏毅机器学习】TransFormer框架基础储备知识（p51） 学习笔记 | 全程手码，放心食用
weixin_45947476的博客
12-06 798
全文总结于哔哩大学的视频：李宏毅2020机器学习深度学习(完整版)国语 2020版课后作业范例和作业说明在github上：点击此处 李宏毅上传了2020版本的机器学习视频和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习（线性回归、逻辑回归、Naive Bayes、决策树、支持向量机等），李宏毅2020版本的机器学习中除了最前面的回归、分类，后面更多篇幅涉及卷积神经网络（CNN）、循环神经网
文本分类新纪元:Transformer在文本分类任务中的表现
AI天才研究院
05-28 440
文本分类新纪元:Transformer在文本分类任务中的表现 1.背景介绍 1.1 文本分类任务的重要性 在自然语言处理(NLP)领域中,文本分类是一项基础且广泛应用的任务。它旨在根据文本内容的语义信息,将其归
第TR6周：Transformer 实现文本分类 - Embedding版
lihuhelihu的博客
08-22 544
●根据自己的理解对代码进行调优，使验证集准确率达到79%这是一个使用PyTorch实现的简单文本分类实战案例。代码基础上，将嵌入方式改为Embedding嵌入。●理解文中代码逻辑并成功运行。需要另外安装jieba分词库。
MindFormers：基于MindSpore的Transformer模型框架
“mindformers-人工智能资源”这一标题所指向的项目，是一个基于华为自研深度学习框架MindSpore构建的开源Transformer模型库，专注于自然语言处理（NLP）任务中的模型开发、训练、推理以及模型权重转换等核心功能。...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

什么都干的派森

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值