15、神经对话技术介绍

神经对话技术介绍

1. 对话系统常见问题示例

在对话系统中，有时会出现一些不理想的情况。例如下面这个关于工作和个性的对话：
| 角色 | 对话内容 |
| ---- | ---- |
| 人类 | what is your job? |
| 机器 | I’m a lawyer. |
| 人类 | What do you do? |
| 机器 | I’m a doctor. |

简短且无趣的回复是因为传统用于训练回复生成的目标函数，会计算给定输入消息下回复的最大似然。由于这些回复在训练数据中更常见，所以它们比更多样化的回复更受青睐。而不一致的回复则是因为系统没有跟踪对话过程中传达的信息。

2. 神经对话技术概述

神经对话方法的序列到序列映射过程基于编码器 - 解码器架构。下面详细介绍编码器 - 解码器架构所需的各项技术。

2.1 词嵌入（Word Embeddings）

编码器的输入是用户说出或输入的单词序列，但编码器要处理这些单词，需先将其转换为数字，这个过程就是词嵌入。通过词嵌入，每个单词由一个唯一的实数向量表示，该向量捕捉了其含义以及与词汇表中其他单词的关系。

2.1.1 独热编码（One - hot encoding）

独热编码在机器学习中广泛用于编码分类数据，如不同国家的名称。以下是一个包含 11 个国家名称词汇表的独热编码矩阵示例：
| | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| ---- | ---- | ---- | --