1-大模型（LLMs）基础篇

1 目前 主流的开源模型体系 有哪些？

目前 主流的开源模型体系 分三种：

• 第一种： prefix Decoder 系

• 介绍：输入双向注意力，输出单向注意力

• 代表模型： ChatGLM、ChatGLM2、U-PaLM

• 第二种： causal Decoder 系

• 介绍：从左到右的单向注意力

• 代表模型： LLaMA-7B、LLaMa 衍生物

• 第三种： Encoder-Decoder

• 介绍：输入双向注意力，输出单向注意力

• 代表模型： T5、Flan-T5、BART

2 prefix Decoder 和 causal Decoder 和 Encoder-Decoder 区别是什么？

prefix Decoder 和 causal Decoder 和 Encoder-Decoder 区别 在于