Pin_BOY的博客

机器翻译BLEU值的计算

【1】It’s Not Just Size That Matters:Small Language Models Are Also Few-Shot Learners使用了pet的语言模型：小模型少参数抗衡GPT-3最近的预训练模型参数已经扩展到千亿个级别了，如GPT-3 。 很多时候训练这样一个巨大的模型带来的资源消耗也是不可低估的，这就给研究者的使用带来困难。但是不是参数越多，模型越大性能就越好。改善后的语言模型仍然可以有类似的性能，但是参数数量却小上很多。这篇论文将文本输入转换为包含任务描

NLP新范式 prompt【0】与使用具体的分类器的传统Fine-tuning不同，基于prompt的fine-tune直接使用预训练的模型来执行分类或回归的预训练任务。从 BERT (Devlin et al., 2019) 开始，在下游应用程序中使用特定任务的上游微调预训练语言模型 (LM) 已成为 NLP 的标准做法。 然而，具有 175B 参数的 GPT-3 模型带来了一种将 LM 用于下游任务的新方法：GPT-3 可以很好地处理少标注任务。 通过利用自然语言提示和任务演示作为上下文，GPT-3