23、GPT-3、ChatGPT与GPT-4的应用与发展

GPT-3、ChatGPT与GPT-4的应用与发展

1. GPT-3应用

到2021年初，OpenAI上有超过300个基于GPT - 3的应用程序，可执行各种任务，如搜索和文本补全。GPT - 3最初通过封闭测试版程序提供访问，现在已向所有人开放。用户注册免费账户后，可在线访问GPT - 3，输入文本字符串，GPT - 3会提供生成的文本响应。以下是一些使用GPT - 3的应用介绍：

1.1 AlphaCode (DeepMind)

AlphaCode是一个基于预训练Transformer的语言模型，能生成代码并筛选出一组有前景的程序。其预训练数据集接近700GB，当数据集中的语言数量增加到20种后，数据集约为1TB。以下是关于如何使用它以及如何通过BigQuery访问数据的相关链接：
- https://huggingface.co/datasets/lvwerra/github - code
- https://twitter.com/lvwerra/status/1496174920384057350

你可以在不将完整数据集加载到磁盘的情况下遍历数据集，并对编程语言进行自动过滤：
- https://twitter.com/lvwerra/status/1496174925949853696
- https://huggingface.co/blog/codeparrot

你还可以使用以下网页在上述数据集上训练你的模型，这些网页解释了如何在各种GPU上训练GPT - 2模型：
- https://huggingface.co/spaces/lvwerra/codeparrot -