NLP之GPT-2：GPT-2的简介(大数据/大模型/灵感点)、安装和使用方法、案例应用之详细攻略

NLP之GPT-2：GPT-2的简介(大数据/大模型/灵感点)、安装和使用方法、案例应用之详细攻略

导读：GPT-2(无监督多任务学习器)：基于WebText数据集+参数扩至1.5B+无监督语言建模ULM代替明确微调(ULM来解决各种任务+统一视为单词预测问题)+采用概率式的多任务求解(输入和任务信息为条件去预测输出)：在8个不同的语言模型相关数据集上测试，有7个实现了SOTA。

​

目录

相关文章

LLMs之GPT-2：《The Illustrated GPT-2 (Visualizing Transformer Language Models图示GPT-2(可视化Transformer 语言模型))》翻译与解读

GPT-2的博客文章：《Better language models and their implications更好的语言模型及其影响》的翻译与解读

1、介绍

模型细节：基于1.5B参数的Transformer+40GB语料(包含800万个网页)

数据集：互联网抓取+人类过滤

训练目标：NSP任务

模型能力：足够惊艳

2、样本测试细节

零样本启动

3、政策影响

好的应用

恶意的应用

4、发布策略

关注点：

决策背景：

技术能力和限制：

建议与期望：

未来讨论：

5、GPT-2临时更新，2019年5月

GPT-2模型的四个版本：117M、345M、762M 、1.5B

阶段性发布

下一步措施

风险考虑

决策因素

输出数据集

跟我们谈谈

GPT-2的论文：GPT-2之《Language Models are Unsupervised Multitask Learners》翻译与解读

Abstract

7、Conclusion

GPT-2的简介

GPT-2的概述：大数据、大模型、insight观点

GPT-2的安装和使用方法

1、安装

T1、本机安装

T2、Docker安装

2、运行

3、测试

GPT-2的案例应用

NLP之GPT-2：基于torch框架利用GPT-2模型对自定义语料库进行预训练并使用微调后的模型对情感分类任务进行微调的完整代码实现

LLMS之GPT-2：基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-2模型实现模型训练调优应用案例实现代码

---

相关文章