梁敬彬梁敬弘兄弟出品
往期回顾
小朋友都能懂的人工智能⓵开篇大吉（上）
小朋友都能懂的人工智能⓵开篇大吉（中）
小朋友都能懂的人工智能⓵开篇大吉（下）
小朋友都能懂的人工智能②卷机神经网络初探（上）
小朋友都能懂的人工智能②卷机神经网络初探（中）
小朋友都能懂的人工智能②卷机神经网络初探（下）
小朋友都能懂的人工智能⓷ -惊世骇俗的阿“狗”故事（上）
小朋友都能懂的人工智能⓷ -惊世骇俗的阿“狗”故事（中）
小朋友都能懂的人工智能⓷ -惊世骇俗的阿“狗”故事（下）
小朋友都能懂的人工智能⓸ -狗大师的修仙之路（上）
小朋友都能懂的人工智能⓸ -狗大师的修仙之路（中）
小朋友都能懂的人工智能⓸ -狗大师的修仙之路（下）
小朋友都能懂的人工智能⓹-不可思议的大模型（上）
小朋友都能懂的人工智能⓹-不可思议的大模型（中）
小朋友都能懂的人工智能⓹-不可思议的大模型（下）
19. 有趣的注意力测试
L：上回我们说到让机器能理解语言的第一步是向量化。今天我们继续将讲述第二步——信息压缩与特征提取。在此之前，我先出一道题考考小朋友们。
探险队带着藏宝图，他们历经千辛万苦，终于在一个洞穴深处挖出了大量____? A. 地下水；B. 尸骨；C.金银珠宝。请问选哪个？
A：选C，带着藏宝图肯定是找金银珠宝，而不是地下水和尸骨啊。
L：回答的很好！大家注意到没，如果没有最前面的探险队和藏宝图，则这三个答案都有其合理性，甚至在洞穴深处这样的背景下，地下水和尸骨似乎还更合适一些。接下来，我改编一下题目再考考小朋友们。
探险队在沙漠迷路了，他们历经千辛万苦，终于在一个洞穴深处挖出了大量____? A. 地下水；B. 尸骨；C.金银珠宝。请问选哪个？
B：选A，沙漠迷路了，水才是最重要的。
L：很棒！我们来看看，同样的问题来问ChatGPT4，它能答对吗？
GPT-4的回答是正确的，厉害吧，思路也和两位小朋友差不多。
A爸：厉害！看起来GPT-4似乎和我们人类一样有推理能力了。
L：准确的说法应该是它通过句子中的上下文，注意到了哪些词对回答起到更关键的作用，这种注意力，实现了更为厉害的信息压缩与特征提取。
A爸：哦，怎么说？
L：这个随后我再解释。
20. 注意力不足的R时代
L：请问大家是否知道ChatGPT的GPT是什么意思？
众人纷纷摇头。
L：G表示Generative，即生成式；P表示Pre-trained，即预训练的；而这个T就是Transformer，合起来表示为生成式与训练的Transformer。
A：Transformer是啥？
L：这可是一个厉害的语言模型架构，正是这种架构助力GPT-4迅速而有准确的回答了前面的问题。在Transformer架构被提出之前，语言模型的主流架构主要是循环神经网络Recurrent Neural Network，简称RNN。RNN按顺序逐字处理，每一步的输出取决于先前的隐藏状态和当前的输入，要等上一个步骤完成后才能进行当前计算，这种模式似乎比较符合人类阅读的习惯，不过却存在明显的不足。
C：RNN都有哪些不足？
L：首先是这种串行模式显然无法并行计算，因为一并行，顺序就无法保障了。这样无法发挥硬件资源多优势，导致训练效率极低。
C：还有呢？
L：由于RNN的架构特点，词之间的距离越远，前面对后面的影响就越弱，难以有效捕获到长距离的语义关系，导致RNN及不擅长处理长序列，即长文本。在人类自然语言中，依赖信息较远时很常见的情况。
比如之前提到的那句话“探险队带着藏宝图，他们历经千辛万苦，终于在一个洞穴深处挖出了大量____”，正确预测下一个词的关键词是距离很远的藏宝图。使用RNN就可能把前面给忘没了，只剩下“终于在一个洞穴深处挖出了大量____”，如此一来，距离很近的“洞穴”当成了预测的关键词，自然无法得到正确的答案。
C妈：没有好的优化方案吗？
L：有的，为了捕获长距离的依赖性，后来也出现了RNN的改良版本LSTM，即长短期记忆网络，但是处理非常长的序列时依然受限。此外无论是RNN还是改良版LSTM，都依然无法实现并行计算，效率提不上。看来RNN架构的这个R时代走向穷途末路了。
A爸：那您的意思就是Transformer架构能解决这些问题？
L：是的，Transformer携带自注意力机制这个大杀器，踏着七彩祥云出现了，带我们走进了T时代。
未完待续…
小朋友都能懂的人工智能⓺- 逆天，句中高能！！（中）
系列回顾
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
