深度学习中的注意力机制解析

深度学习入门新增注意力机制章节

全球机器学习市场正在迅速扩张。根据《福布斯商业洞察》预测，到2027年机器学习产品市场规模将达到1170亿美元。这种增长伴随着对机器学习技能需求的相应激增。

某中心团队通过创作《深度学习入门》（简称D2L）一书，帮助那些正在努力满足这一需求的人们。该书于2020年出版，完全通过可独立执行的Jupyter笔记本起草，是一份活文档，每次更新都会触发PDF、HTML和笔记本版本的开源更新。

最新增加的章节是关于“注意力机制”的内容。新增章节解决了一个经常困扰非参数机器学习模型的问题，即这些模型需要处理不同数量的信息，这些信息需要被置于上下文中。

注意力机制的核心概念

考虑人类视觉：我们的视野中可能有数百个物体，但我们的大脑能理解什么是重要的，以防止感官过载。这可以从原始的“我营地附近有老虎吗？”到现代的“我把红色咖啡杯放在哪里了？”这种能力使人类能够即时适应信息丰富的场景。对其部分内容的关注在计算上既经济又在统计上有效。

“我们可以使用注意力机制解决计算机视觉任务，如图像识别问题，”张解释说。“这就是为什么我们认为需要一个专门的章节来介绍这个领域正在发生的一些令人兴奋的事情。这也反映了深度学习领域如何不断演变——即使我们在书中添加新材料，也有新的发展需要跟进。”

在自然语言处理中的应用

虽然在计算机视觉中很重要，但注意力在自然语言处理（NLP）中也起着关键作用。在这些应用中，计算机的注意力可能会指向特定的单词，这些单词暗示了逻辑上的下一个单词或想法，例如“银行”这个词后面可能是“存款”。这加速了计算机预测或分析语音和单词的能力。

实际上，现代注意力机制是由Bahdanau、Cho和Bengio在2014年发明的，用于处理机器翻译模型在生成翻译时必须“记住”源语句的问题。这是一个挑战，特别是对于长句。注意力允许模型不断查看源语句和已经翻译的内容，以提高准确性。

Transformer架构的突破

注意力领域的一个挑战是它仍然需要大量计算。近年来，“Transformer”模型应运而生，它应用高级算法来分析单词序列以确定逻辑顺序，帮助应对这一挑战。Transformer驱动着当今一些最强大的NLP模型，如GPT-3。

“Transformer已经彻底改变了NLP，”Smola说。“它们允许我非常高效地向前和向后跳转许多步骤——例如，在单词序列中——几乎像波形一样，而不是一次只跳一步。这创造了更多的计算效率。”

教学资源与国际化

新的D2L章节介绍了Transformer的关键元素以及如何将它们应用于NLP或计算机视觉问题。注意力章节包含丰富的模型、示例和代码，学生可以边学边实验。示例同时提供了MXNet和PyTorch版本，为用户提供了机器学习框架的选择。

与此同时，新章节的前三分之一已被翻译成中文和土耳其文。中文市场是《深度学习入门》最大的市场之一，有20所大学将其用作教科书。土耳其语版本的出现是由于该国拥有庞大的机器学习专家社区。

作为该书的补充，D2L团队还在其YouTube频道上推出了一系列“训练营”视频教程。

团队正在开发《深度学习入门》的印刷版，并正在扩展内容模型，原始作者较少关注原创内容的开发，而更多地充当更广泛机器学习社区贡献的管理者。

《深度学习入门》的最新章节现已上线。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码