weixin_40485502的博客

GPT1–finetune12层单向transformer预训练+精调被bert比下去了GPT2-元学习输入：加上任务描述“英翻法：This is life”输出：“C’est la vie”参数15亿在NLU:比不上bert也比不过其他大参数模型：如Turing-NLGGPT3-Language Models are Few-Shot Learnerspaper链接：https://arxiv.org/abs/2005.14165github链接：https