AIGC实战——Transformer模型

盼小辉丶

已于 2025-04-07 11:32:26 修改

阅读量7.7k

点赞数 91

CC 4.0 BY-SA版权

分类专栏：生成式人工智能从入门到实战文章标签： AIGC transformer 深度学习

于 2024-03-25 07:18:27 首次发布

本文链接：https://blog.youkuaiyun.com/LOVEmy134611/article/details/137000581

生成式人工智能从入门到实战专栏收录该内容

28 篇文章 ¥39.90 ¥99.00

订阅专栏

本文介绍了Transformer模型的三种类型：编码器、解码器和编码器-解码器，重点讲解了T5模型的结构和工作原理，以及GPT-3、GPT-4和ChatGPT等大型语言模型的进展。通过实例展示了ChatGPT如何利用强化学习进行训练，展现了人工智能在对话交互上的潜力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

AIGC实战——Transformer模型

0. 前言

我们在 GPT (Generative Pre-trained Transformer) 一节所构建的 GPT 模型是一个解码器 Transformer，它逐字符地生成文本字符串，并使用因果掩码只关注输入字符串中的前一个单词。另一些编码器 Transformer，不使用因果掩码，而是关注整个输入字符串以提取有意义的上下文表示。对于一些其他任务，如语言翻译，可以使用编码器-解码器 Transformer，将一个文本字符串翻译为另一个文本字符串，这类模型包含编码器 Transformer 块和解码器 Transformer 块。下表总结了三种类型的 Transformer 模型，其中列出了每种架构的典型模型和用途。