提升10倍效率大模型的简单原理-优快云博客

本文链接：https://blog.youkuaiyun.com/python1222_/article/details/147398286

停更了两周，我一直在沉浸式学习中，研究AI的各种知识。试验在kimi的帮助下，搭起来一个python的Django项目，我不编码也有7、8年了，因为编码调试会被很多原因中断，很费时间，所以把大部分时间放在建模和设计上，但是不编码总感觉缺点什么，但是有了kimi的辅助，就顺利很多，我又可以编码了，有点小兴奋。其实我仅仅是简单使用，感觉效率比之前提升几倍，如果用好了，看来10倍效率没有问题啊！

这一切的背后都是大模型的作用啊，遇事不决问AI已经成为习惯。我找了一个美国的大牛学了解这个模型，因为我以前有统计学和机器学习的认知，而且牛人就是善于把复杂的原理剖析的如此简单，于是我花一天整理了一下，分享给大家，其实无论kimi还是Chatgpt都是一样原理，我们就用Chatgpt举例吧：

\1. Chatgpt真正做的事就是文字接龙：

在这里插入图片描述

“台湾最高的山是哪座？”——接龙“玉”
“台湾最高的山是哪座？玉”——作为新的输入，接龙“山”
“台湾最高的山是哪座？玉山”——大模型接龙的结果是一个结束标志。

2.接龙的奥秘是“看概率”加“掷骰子”

在这里插入图片描述

对于后面可以接龙的字都有个概率，概率越大，被选中的机会越大，但不是一定选概率最大的，还要进行掷骰子，所以每次的答案不一样。那为啥不是每次选最大的，因为这个原因，如下图:

在这里插入图片描述

如果每次选概率最大的，有可能陷入局部最优后，死循环在里面出不来。虽然是掷骰子，概率大的字被命中的概率也大，这种掷骰子进行选择的方式在遗传算法里也很常用，刚好前一段时间我在处理商品在库房库位的摆放优化时用到遗传算法，也用到了这种掷骰子的方式选择下一代。大模型接龙工作方式就这么简单！那他是咋学会的呢？

3.大模型是怎么学习文字接龙的？

首先任何的句子都可以是教材，无论在网上，还是你给输入一段文字，都是大模型学习的教材，这个学习当然离不开大模型的超强大脑Transformer

在这里插入图片描述

Transformer是大模型的核心，其实是一个类神经网络，可以简单理解成一个函数，当然这个函数和我们f(x）= ax + b 这种只有两个参数的简单函数比起来复杂很多，有上亿个参数，里面的主要是矩阵的乘法，是线性代数里面的内容，对于线性代数比较熟悉的同学应该不难理解，我后面专门写一个Fransformer的简单原理简介，让不了解矩阵乘法的同学也可以基本了解Transformer的原理。现在我们不去深究Transformer，继续说大模型工作原理，在Chatgpt之前，已经有了3代的Gpt了（注意是Gpt不是Chatgpt）。

2018年第一代模型的参数量是117M，训练数据是1GB，那时候openAI还没有这么出名。上图中参数量Model size可以理解为大模型的天赋，而数据规模Data Size可学习的资料量是大模型的后天的努力。从第一代到第三代，参数越来越多就是越来越聪明，可处理的数据规模越来越大就是后天进步的空间也越来越大。