本文介绍了GPT-2模型，它是一个大型的基于Transformer的语言模型，通过预测下一个单词进行训练。研究表明，尽管在某些任务上表现不突出，但使用大量数据和计算资源，无监督学习也能取得效果。GPT-2在特定领域数据集上的表现优于仅使用该领域数据训练的模型。文章还讨论了模型的超参数、数据来源以及如何将任务转化为条件概率分布，并提及了NLP领域的无监督与监督学习问题。
还没看完，先放上来，这个乱七八糟的草稿笔记在这就能提醒自己抓紧看....
GPT Feature
large transformer-based language model
Training objective: predict the next word, given all of the previous words within some text.
GPT-2在question answering, reading comprehension, summarization, and translation上，尽管表现不好，但是用足够的数据和计算量是可以直接做无监督学习的。
GPT-2 begins to learn these tasks from the raw text, using no task-specific training data. While scores on these downstream tasks are far from state-of-the-art, they suggest that the tasks can benefit from unsupervised techniques, given sufficient (unlabeled) data and compute.
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
