大模型简介

学习资源：大模型研讨课第一期：Why LLMs?、模型结构1（共10期）_哔哩哔哩_bilibili

本期就是课堂笔记。 

---

1.什么是大语言模型？

刚开始是基于规则的，后期是基于概率的

然后呢，我们要把这些概率建模成条件概率，然后就知道这个词后边可能是哪个词了。

理解：

将联合概率，建模成条件概率，然后计算，也就是用前面的词预测下一个词。

比如 是句子（Today is Monday）的概率=P（today）×P（以today为条件 下一个词是 is 的概率）×P（出现 today is 下一个词是Monday的概率）

然后就发展出来了多片元（n-gram）语言模型。

多片元语言模型，它忽略久远的历史，只统计最近几个词对下一个词的影响。

比如 1-gram ：只考虑前一个词对后一个词的影响。

但是n越大，需要的语料也就越大。

 后面逐渐出现了各种模型。

隐马尔可夫模型

前向神经网络语言模型

循环神经网络语言模型

序列到序列学习

Transformer

GPT3

缩放定律：参数越多，越准确。

2.为什么要研究大语言模型呢？

大语言模型：拿到一个很复杂的数据集，然后用一个算法去压缩它，得到一个相对较小的模型，然后针对任务再用一点点数据集来调整。