AI的工作原理

通俗原理

其实，它只是根据上文，猜下一个词(的概率)

OpenAl的接口名就叫「completion」，也证明了其只会「生成」的本质。

略深一点的通俗原理

训练和推理是大模型工作的两个核心过程，
用人类比，训练就是学，推理就是用。学以致用，如是也。
例如，有下面训练数据：

1.AI正在改变我们的生活方式。
2.AI技术在医疗领域有广泛应用。
3.AI 可以提高企业的生产效率。
4.AI算法能够预测市场趋势。
5.AI在自动驾驶汽车中扮演重要角色。
6.AI有助于个性化教育的发展。
7.AI机器人可以执行复杂的任务。
8.AI技术正在推动智能家居的普及。
9.AI在金融分析中发挥着关键作用。
10.AI技术正逐步应用于艺术创作。

AI之后出现「技」的概率大于其它字。这些字之间的概率关系，就是大模型训练时学到的。

训练:

1. 大模型阅读了人类说过的所有的话。这就是「机器学习」
2. 训练过程会把不同 token 同时出现的概率存入「神经网络」文件。保存的数据就是「参数」，也叫「权重」

推理:

1. 我们给推理程序若干 token，程序会加载大模型权重，算出概率最高的下一个 token是什么
2. 用生成的 token，再加上上文，就能继续生成下一个 token。以此类推，生成更多文字

Token 是什么?

1. 可能是一个英文单词，也可能是半个，三分之一个
2. 可能是一个中文词，或者一个汉字，也可能是半个汉字，甚至三分之一个汉字
3. 大模型在开训前，需要先训练一个 tokenizer 模型。它能把所有的文本，切成 token

思考:

1. AI 做对的事，怎么用这个原理解释?
2. Al的幻觉，一本正经地胡说八道，怎么用这个原理解释?

训练的数据如果存在，就能回答正确，如果么有数据，就胡说八道。

再深一点点

• 这套生成机制的内核叫「Transformer 架构」
• Transformer是目前人工智能领域最广泛流行的架构，被用在各个领域。Transformer仍是主流，但并不是最先进的

目前只有 transformer 被证明了符合 scaling-law。

用好 Al的核心心法

OpenAl首席科学家 llya Sutskever 说过:
数字神经网络如人脑的生物神经网络，在数学原理上是一样的。

所以，我们要:  把AI当人看

凯文·凯利说了类似的观点:「和人怎么相处，就和 A1 怎么相处」。
1.用「当人看」来理解 AI
2.用「当人看」来控制 AI
3.用「当人看」来说服别人正确看待 Al 的不足

当什么人呢?

1. 学习时当老师
2. 工作时当助手
3. 休闲时当朋友

这是贯彻整门课的心法，乃至我们与 AI相伴的人生的心法。

大模型结构图：

如何选择大模型：

没有最好的，只有最适合的。

AI如何用于软件系统：