qq_50496178的博客

按照最大概率值选择模型输出的 token，这种方法叫做贪婪搜索（Greedy Search）。【前提背景】什么是采样？按照每个 token 对应的命中概率值进行随机抽取，只不过，可选择范围包含了 token 词表中所有的 token。这就说明了模型输出的结果具有随机性，并非每次都相同。【注意】按照贪婪搜索的方式，实际上是取消了根据 token 概率分布做采样的操作。我们知道，有 0.3410 的概率输出得到平字，这个结果没错；但也有 0.2179 的概率模型会输出得到网字，这个值也很高，若模型输出网。

在深度学习中，预训练是指在大规模数据上训练一个通用的模型，而不是针对特定任务的模型。这个模型可以学习到数据中的一般性模式，而不是特定于某个任务的模式。在应用时，可以将预训练模型的特征提取器用作其他任务的输入，或者在预训练模型的基础上进一步微调模型以适应特定任务。保存的是模型的参数，也就是模型在预训练过程中学习到的权重和偏置等参数，常见的格式包括 TensorFlow 的 .ckpt 文件、PyTorch 的 .pt 或 .pth 文件等。基于规则是显性的，人工编写的；