qq_40282557的博客

文本解码是将模型的输出（通常是概率分布或词汇索引）转换为可读的自然语言文本的过程。在生成文本时，常见的解码方法包括贪心解码、束搜索（BeamSearch）、随机采样等。

在了解预训练语言模型的基础，以及预训练语言模型在Pre-training和Fine-tuning之后，我们已经可以预想到 Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务。Prompt-Tuning起源于GPT-3的提出《Language Models are Few-Shot Learners》（NIPS2020），其认为超大规模的模型只要配合好合适的模板就可以极大化地发挥其推理和理解能力。

GPT-2（Generative Pre-trained Transformer 2）是OpenAI发布的一种生成式预训练模型，是GPT系列的第二代。GPT2是使用Transformer结构的大规模预训练模型，但由于谷歌推出自己的Bird模型，GPT2的宣传效果并不理想。OpenAl团队对GPT2进行了改进扩大了模型规模并进行了预训练，但并未在下载任务上取得比Bird更好的效果。GPT2的核心任务是语言模型，可以用于各种下游任务。

昇思25天打卡训练营，让我第一次了解了华为昇思的平台，之前也有自己本地使用4060训练了一些“小模型”，但是都是比较皮毛的知识，只是根据教程去搭建。很少了解到具体的过程。昇思25天打卡训练营给了一个比较全面的训练课程。首先让我了解了昇思MindSpore的概念以及详细的框架，然后通过简单的入门训练实现了一个深度学习模型，每一步都有详细的解释，让我这个深度学习小白，也可以轻松的看懂。