《昇思25天学习打卡营第22天|onereal》

文本解码原理--以MindNLP为例

回顾：自回归语言模型

根据前文预测下一个单词

一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积

• 𝑊_0:初始上下文单词序列
• 𝑇: 时间步
• 当生成EOS标签时，停止生成。

MindNLP/huggingface Transformers提供的文本生成方法

应用实践/LLM原理和实践/文本解码原理-以MindNLP为例

---------------------------------------

以上是今天学习内容的简介，下面运行代码。训练与测试：