李宏毅《生成式人工智能导论》| 第1讲：什么是生成式人工智能

问题：什么是生成式人工智能 Generative Al

目标：机器生成复杂有结构的物件

• 有结构：如文章(文字组成)、影像(像素组成)和语音(取样点组成)
• 复杂：没有办法穷举

比如让写一篇100字的中文文章，假设中文常用字为1000(实际更多)，用中文组成100字的文章有1000¹⁰⁰ =10³⁰ 种可能性。

不是生成式AI的例子：

• 分类(Classification)：从有限的选项种做选择

生成式AIGenerative Al与机器学习Machine Learning的关系

机器学习：机器自动从资料(训练资料)找一个函数 => 学习(训练)指的是通过训练资料找出函数中的参数 => 给找到参数的函数一个新的图片，观察函数的输出，这个过程被称为测试(推论)

深度学习Deep Learning：将上万个参数的函数表示为类神经网络并求解的技术

总结

问题：深度学习怎么解生成式人工智能的问题？

可以将ChatGPT想象成一个非常复杂的函数，输入是一段文字，输出是ChatGPT的回复。

这个上亿参数的类神经网络，被称为Transformer。

输入一大堆的训练资料，利用深度学习技术将上亿个参数找出来。

生成式AI的挑战

**挑战：**机器需要能够产生在训练时从来没有看过(训练中没有)的东西

问题： chatGPT中如何产生训练时从来没有看过的东西？

核心：文字接龙，可以做文字接龙的模型被称为语言模型

在chatGPT中，生成一个答案被拆解成一连串文字接龙。

**将生成完整答案改成一系列文字接龙的好处: **生成式AI的难点是可能