李宏毅 《生成式人工智能导论》| 第6讲-第8讲：大语言模型修炼史

大语言模型的三个阶段的总结

所有的阶段都是在学习文字接龙，只是训练的资料不同。

背景知识

在文字接龙中，每次产生出来的符号被叫做token

机器怎么学会做文字接龙

模型：有大量未知参数的函数

找参数的挑战

1. 寻找超参数：调参数指的是调超参数

设置超参数，寻找参数。没有寻找到参数，就换一组超参数。

2. 训练成功，但测试失败

在训练资料中，找到合适的参数让训练成果。但是在测试时，使用新的图片结果识别错误。

如何让机器找到比较合理的参数

1. 增加训练资料的多样性：比如增加黄色的猫，黑色的狗

2. 设置合适的初始参数：可以把好的参数看作是先验知

第一阶段：自我学习，累计实力 pre-train

问题1：需要多少文字才能够学会文字接龙？

得到一个token需要多少文字呢？论文指出即使学习300亿文字还是学不会复杂多层的世界知识。

Self-supervised Learning自监督学习：非常少人工介入就可以获取训练资料的方式。

自监督学习是一种无需人工标注标签的机器学习范式，核心思想是通过设计“代理任务”（Pretext Task），从数据自身结构生成监督信号，让模型从未标注数据中学习通用特征表示。它介于监督学习和无监督学习之间，显著降低了对昂贵标注数据的依赖。

虽然使用网络上的资料，但还是需要少量人工处理。下面的论文介绍了在训练大模型时过滤掉了哪些资料。

在ChatGPT之前就开发了GPT模型，这些模型就是使用大量从网络上找到的文字训练出来的。