NLP之GPT-2:GPT-2的简介(大数据/大模型/灵感点)、安装和使用方法、案例应用之详细攻略
导读:GPT-2(无监督多任务学习器):基于WebText数据集+参数扩至1.5B+无监督语言建模ULM代替明确微调(ULM来解决各种任务+统一视为单词预测问题)+采用概率式的多任务求解(输入和任务信息为条件去预测输出):在8个不同的语言模型相关数据集上测试,有7个实现了SOTA。
目录
GPT-2的博客文章:《Better language models and their implications更好的语言模型及其影响》的翻译与解读
模型细节:基于1.5B参数的Transformer+40GB语料(包含800万个网页)
GPT-2模型的四个版本:117M、345M、762M 、1.5B
GPT-2的论文:GPT-2之《Language Models are Unsupervised Multitask Learners》翻译与解读
NLP之GPT-2:基于torch框架利用GPT-2模型对自定义语料库进行预训练并使用微调后的模型对情感分类任务进行微调的完整代码实现
LLMS之GPT-2:基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-2模型实现模型训练调优应用案例实现代码