Why are most LLMs decoder-only?

本文是LLM相关博客，原文出自https://medium.com/@yumo-bai/why-are-most-llms-decoder-only-590c903e4789。

为什么大多数LLM decoder-only？

我在DeltaHacks的辅导过程中遇到了这个问题，无法想出一个对自己足够有说服力的答案。所以我挖了一些洞，结果发现这是一个有趣的兔子洞。它涉及到对Transformer、架构、数学和工程优化的理解。在这里，我将分享我一路上捡到的两分钱。

语言模型体系结构概述

让我们先熟悉一些体系结构术语。

Encoder and Decoder

• 编码器：处理输入数据并将其转换为压缩表示，捕获基本信息。在翻译任务中，编码器将英语句子转换为表示其语言特征和含义的向量。

• 解码器：采用编码表示并生成输出，通常采用不同的形式。在同一翻译任务中，解码器采用英语句子的编码表示，并生成法语句子的等效表示。