24、深度学习提升人工智能的探索与实践

深度学习提升人工智能的探索与实践

1. 聊天机器人与循环神经网络（RNN）的局限与改进

当前一些人工智能系统在特定情境下能给出不错的答案，但在开放和通用的语境中表现不佳，因为它们缺乏人类一生积累的知识。以谷歌智能回复和微软的推特聊天机器人Tay为例，训练数据的质量和偏差会严重影响系统的表现。谷歌智能回复因使用有偏差的示例进行训练，常以“我爱你”回复大多对话；Tay则因与用户的恶意和有偏差的对话而偏离正轨。

若想了解聊天机器人的前沿技术，可关注每年举办的应用图灵测试的聊天机器人竞赛，其中最著名的是洛伯纳奖。截至目前，Mitsuku多次获得该奖项，它能对对话中提出的特定对象进行推理，还能玩游戏和表演魔术。

近年来，RNN取得了显著进展。相较于将文本视为单词池的传统统计方法（词袋模型），RNN更实用，因此被广泛应用。然而，最初的RNN存在局限性，它需要大量数据进行学习，且难以记住短语中较早出现的信息。为解决这些问题，研究人员开发了长短期记忆网络（LSTM）和门控循环单元（GRU），它们能更智能地记住和遗忘先前的单词。此外，这些神经单元还能双向读取文本，从短语的开头和结尾提取单词并理解整个句子。LSTM由Sepp Hochreiter和Jürgen Schmidhuber发明，GRU首次出现在相关论文中。

2. 词嵌入技术的原理与应用

为应对数据量限制，研究人员发现创建预训练模型很有用。词嵌入的预训练模型类似于图像预训练模型，它处理大量公开可用的文本数据，以有意义的方式对短语中的单词进行评分。其核心思想是将单词转换为数字，这些数字之间的关系与单词的语义关系相似。例如，将不同食物的名称转换为数值矩阵，水果在特定列上的得分相似，蔬菜的得分不同但与水