梁敬彬梁敬弘兄弟出品
往期回顾
小朋友都能懂的人工智能⓵开篇大吉（上）
小朋友都能懂的人工智能⓵开篇大吉（中）
小朋友都能懂的人工智能⓵开篇大吉（下）
小朋友都能懂的人工智能②卷机神经网络初探（上）
小朋友都能懂的人工智能②卷机神经网络初探（中）
小朋友都能懂的人工智能②卷机神经网络初探（下）
小朋友都能懂的人工智能⓷ -惊世骇俗的阿“狗”故事（上）
小朋友都能懂的人工智能⓷ -惊世骇俗的阿“狗”故事（中）
小朋友都能懂的人工智能⓷ -惊世骇俗的阿“狗”故事（下）
小朋友都能懂的人工智能⓸ -狗大师的修仙之路（上）
小朋友都能懂的人工智能⓸ -狗大师的修仙之路（中）
小朋友都能懂的人工智能⓸ -狗大师的修仙之路（下）
小朋友都能懂的人工智能⓹-不可思议的大模型（上）
16 语言与神经网络一样是分层的
L：作为大语言模型，首要任务就是要理解人类语言，大家觉得ChatGPT是如何做到的？
C妈：是不是它博览群书后，自然而然就理解了，学的越多理解的越深。
L：C妈回答基本正确。我们人类语言是分层的，随着一个人从小长大，他的阅读量越来越多，社会实践也越来越多，那么他从语言中可以读出的信息量也就越来越丰富，洞察力也越来越深，对事物的判断和预测也越来越准。
同样的，随着ChatGPT版本不断迭代，网络规模越来越大，它可识别的特征层级也越来越深。
C：L老师，语言都有哪些层级啊。
L：最基本的是语法、语义；接着是语气、风格、情绪；然后是语言背后的意图、偏好；进一步到文化、心理；以及更进一步的价值观、意识形态等底层的社会学特征等等。
C妈：L老师您这么一说，还真是如此，我感觉我的回答有些肤浅了。ChatGPT就是一个机器，它能实现这么深刻的分层认知吗？
L：大家还记得卷积神经网络吗，我提到过分层的结构。包括如何逐层细化识别出猫，以及如何通过识别棋局形成价值网络和策略网络的过程。
A爸：记得，您提到卷积神经网络分为输入层、隐藏层和输出层，其中隐藏层可以有多层。
L：是的，我们一般把隐藏层超过3层的神经网络也称之为深度学习。大家注意到没，理解人类语言其实和认识猫、AlphaGo下棋本质无区别，都是逐层提取特征最后完成输出。比如猫的轮廓、毛发、脸型、耳朵，胡子、尾巴…比如围棋的死型、活型、外势、实地、危险、安全、厚、薄、气、目数…比如人类语言的语法、语义、语气、风格、情绪、意图、偏好、文化、心理、价值观、意识形态…
更多细节可参考OpenAI论文《Language Models are Few-Shot Learners》。
A：有趣，原来语言与神经网络一样是分层的。
L：是的，大道至简，万事相通。看上去完全不同的图像识别、下棋、人类语言理解，本质居然是一样的，都是多层特征提取，都能用基于神经网络的架构解决问题。
C妈：L老师，ChatGPT对语言的理解比我们人类更厉害了吗？
L：从ChatgGPT4展现出来的语言理解能力来看，确实已远超大部分人，后续我会和大家一起感受感受。
A爸：ChatGPT能从这么多维度来理解语言，这水平不高都不行啊。
L：是的。这里我再强调一些，这些维度只是一种易于理解的类比，实际维度并非我们人类所能理解的，当然了，其维度的数量更是惊人。
A爸：L老师，您说的让我茅塞顿开！不过语言的文字组合是天文数字，每种组合含义又各不相同，理解人类语言难度不小吧，具体该如何实现呢？
L：ChatGPT的语言理解从宏观层面看，和猫的识别、AlphaGo下棋等几无差异。但是具体落到实现的细节处，却是有着天壤之别。
17 向量化是理解语言的第一步
L：ChatGPT是如何做到看见一句话，就能准确理解其意思呢？这里至少需要两步，第一步叫向量化，第二步叫信息压缩与特征提取，我们先来看向量化。
B: 什么是向量化？
L：简答来说，就是要把你要表示的东西变成一组数字的组合。比如我们要表示一个人，可以用这样一组数字：【0，140，35，10】来表达。
B：这啥意思啊。
L：假设第一个数字表示性别，0是男，1是女，第二个数字表示身高，第三个数字表示体重，第四个数字表示年龄。小B你知道是啥意思了吗？
B：表示一个身高一米四，体重三十五公斤的10岁男孩，咦，这不就是我吗？
L：哈哈，如果你觉得可能还不一定是你。我们可以增加更多的维度，比如【性别，身高，体重，年龄，胸围，腰围，臀围，体脂率，血压，视力，爱好，特长，年级，学校，城市…】而这些都可以表示成数字，维度越多，对一个人的定义就越准确。
A爸：那为什么要向量化呢？
L：一方面是向量化能表示成数字，方便电脑处理，更重要的是，向量化以后的空间结构，能很好的展示出规律。我们仅以身高和体重两个维度形成坐标系来举例说明。如下图所示，所有与【140，35】坐标接近的位置，就是体型和小B相似的人。比如身高1米42，体重36公斤的小A就距离小B很近。而身高185，体重80公斤的A爸，则距离小B很远。
我们可以增加更多的维度，比如增加年龄，就变成三维坐标系，再增加性别，就变成四维坐标系…衡量的标准就越多，维度越多。在多维坐标系里，我们就能更多的通过空间关系理解每一个人的特征。大家能听明白吗？
如此通俗易懂，众人纷纷点头。
L：接下来引出关键之处了，大家想想，其实词语也是一样的。如果我们把词语放在一个高纬坐标里，意义相近的词语，空间就会更近。
比如“美”和“好”。从词性维度上，它们都是形容词。从贬义褒义上它们都是褒义，从使用场景上，它们经常一起出现…还有各种我们猜不出来的维度，所有这一切维度让它们在一个高维坐标里，出在了比较近的距离。
A爸：有意思，原来是这样啊。
L：还有更有意思的，因为向量是可计算的，可相加相减相乘，当我们把词语放到向量空间后，我们发现神奇的事发生了，“国王”这个词减去“男人”再加上“女人”，得出的向量居然和“女王”或者“王后”的位置非常接近，这说明在一个合适维度的坐标中，词语之间的空间关系反映了它们现实世界的实际关系。
A爸：这么神奇啊！
L：不过向量化说起来似乎很简单，不过实现起来，可不那么容易哦。
未完待续…
小朋友都能懂的人工智能⓹-不可思议的大模型（下）
系列回顾
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
