19、利用关联系统自动生成合适的问候语句

利用关联系统自动生成合适的问候语句

1. 引言

在日常交流中，问候是开启对话的重要环节。若计算机和机器人能像人类一样进行问候，就能与人类更顺畅地交流，因为问候后更容易引入下一个话题。本文旨在介绍一种通过机器增加合适问候语句数量并根据情境选择语句的方法。

目前，许多对话系统倾向于使用模板，如Eliza等聊天机器人。然而，这种仅依赖预设模板的方法存在局限性，不仅难以构建涵盖所有响应情况的知识库，还会导致回复单调，缺乏灵活性。因此，让机器自动生成多样化的语句显得尤为重要。

本文提出了一种智能问候处理方法，机器通过获取周围环境信息，自动生成各种回复语句，并根据情境生成最佳对话响应。该方法利用概念库从少量模型语句自动扩展所有对话语句，同时使用语言统计信息删除不当语句。此外，还引入了“状态空间”来表达特定情境，为语句自动赋予权重。

2. 对话语句的要求

问候对话是一种不引发争论或讨论的“无坚持对话”。机器自动合成问候对话语句需满足以下要求：
1. 语法一致性 ：语句中无语法错误。
2. 语义无矛盾 ：语句具有合理的含义，例如“今晚太阳真亮”从时间角度看不合理。
3. 使用常用词汇 ：包括日常口语中的词汇。
4. 情境适应性 ：语句不与现实矛盾，如天气晴朗时说“今天下雨”就不符合实际。

该系统基于日语构建，适应日语语言和日本文化的特点。

3. 问候对话系统

问候对话系统的结构如下：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
    A[输入周围信息和输入语句]:::process --> B[问候对话系统]:::process
    B --> C[输出问候语句]:::process
    B --> D[固定模式问候]:::process
    B --> E[开启对话的问候]:::process
    D --> F[固定模式知识库]:::process
    E --> G[关联知识系统]:::process
    G --> H[扩展模板数据库]:::process
    H --> I[根据情境选择合适语句]:::process

系统获取周围信息和输入语句后输出问候语句。问候语句分为固定模式问候（如“早上好”“你好”）和开启对话的问候（如“一整天都在下雨”“天气很热，不是吗”）。本文主要关注后者，通过关联知识系统扩展问候语句的小规模模板数据库，并根据情境自动选择合适的语句。

4. 关联系统

关联系统由概念关联系统和常识判断系统组成，有助于机器理解与词语相关的基础知识，实现类人对话机制。

4.1 概念关联系统

概念关联机制将词与词之间的关系作为常识知识，包含捕捉各种词语关系的机制。概念库是由词语（概念）和表达这些词语含义的词组（属性）组成的知识库，通过多种来源（如日语词典和报纸文本）机械自动构建。

一个概念A可定义为一组配对值的集合：
[A = {( a_1, w_1 ), (a_2, w_2), \cdots, (a_N, w_N )}]
其中，(a_i)是表达概念A含义和特征的属性，(w_i)是表示属性(a_i)在表达概念A时重要性的权重。属性(a_i)称为概念A的一阶属性，以(a_i)为概念的属性则称为概念A的二阶属性。

关联度是定量评估一个概念与另一个概念之间关联强度的参数，其计算方法包括将每个概念扩展到二阶属性，通过加权计算确定一阶属性的最佳组合，并评估这些匹配属性的数量。关联度的值是介于0和1之间的实数，数值越高，词语的关联度越大。以下是关联度的示例：
| 概念A | 概念B | A和B之间的关联度 |
| ---- | ---- | ---- |
| 花 | 花 | 0.208 |
| 花 | 汽车 | 0.027 |
| 樱花 | 植物 | 0.0008 |
| 汽车 | 自行车 | 0.23 |

4.2 常识判断系统

常识判断系统从多个因素（如数量、时间和物理感知）中推导词语的常识关联，通过概念关联机制构建。这里以时间判断系统为例，它利用表示时间的词语知识库（时间判断知识库）从名词中评估时间元素（如季节和一天中的时间）。

系统通过构建时间判断知识库对名词和时间的关系进行排序，并提取必要的时间词语。以下是时间判断系统的示例：
| 输入 | 时间词 | 开始时间 | 结束时间 |
| ---- | ---- | ---- | ---- |
| 日落 | 傍晚 | 下午4点 | 下午5点 |
| 雪 | 冬季 | 12月 | 2月 |
| 海浴 | 夏季 | 6月 | 9月 |

该系统还能通过常识概念库处理时间判断知识库中未包含的时间词（未知词）。

5. 对话语句的扩展

由于手动收集所有对话语句到数据库不现实，因此利用关联系统从少量模型语句自动扩展所有对话语句。具体步骤如下：
1. 从模型语句中选择需要改变的部分（名词），这些词称为元素词。
2. 提取与这些元素词含义相反的所有词语，以获取与该元素属于同一类别的词语。
3. 通过同义词和概念库的属性增加这些词语的数量。

通过这种方法，机器关联与元素词相关的多个词语，并将这些关联词替换回原始模型语句，从而生成多个新语句。

6. 错误语句的删除

简单机械地扩展对话语句会产生许多不当语句，因此使用关联系统删除这些不当语句，具体方法如下：
1. 使用词性筛选 ：例如，原模型语句“现在是樱花季”扩展为“现在是开放的花季”就显得奇怪，应排除与原元素词词性不同的关联词。
2. 使用同义词词典筛选 ：如原模型语句“这是一座美丽的山”扩展为“这是一个美丽的高潮”，在日语中“山”有多种含义，这里原元素词“山”指的是自然的山，而“高潮”与原含义不同，可使用同义词词典消除这种歧义。
3. 使用关联度筛选 ：对于与原元素词强相关的词语，通过关联度提取高关联度的词语。
4. 使用常识判断系统筛选 ：排除时间上不合理的语句，如“今晚是凉爽的白天”，利用常识判断系统中的时间判断系统从时间角度判断语句的适应性。

通过这些技术可以提高问候语句的合适性，但使用扩展语句时需考虑问候相关的情境。

7. 问候对话的状态

问候时，情境对于某些话题很重要。信息来源分为言语化来源（如新闻和天气）和非言语化来源（如温度、湿度、亮度和声音音量等测量信息）。计算机通过机械传感器识别周围环境，本文使用的传感器包括温度计、湿度计、声音计（麦克风）、亮度计和内置计算机的时钟。非言语化来源获取的信息根据既定规则转化为词语，天气作为言语化来源的信息可从网络获取。

根据情境信息从扩展语句中选择合适的语句。无意识的语句选择可分为两种类型，基于此为语句赋予表示问候重要性的权重：
1. 特殊性程度 ：当某种状态被认为特殊时，会提及该状态。例如，感觉“天气很热”时会提到热，这种与日常生活不同的信号表示值得关注的话题，基于此赋予的权重称为“特殊性程度”。
2. 词语重要性程度 ：口语问候中常使用简单易懂的词语，如“阴天”比“阴天天气”更常用，这种日常对话中常用的词语（高利用率词语）很重要，基于此赋予的权重称为“词语重要性程度”。

使用特殊性程度和词语重要性程度来表达特定情境，存储状态词与其权重关系的空间称为状态空间，其示例如下：
| 状态 | 特殊性程度 | 相关词语及重要性程度 |
| ---- | ---- | ---- |
| 热 | (u_{21}) | 热/(v_{211})，闷热/(v_{212})，… |
| 暖 | (u_{22}) | 暖/(v_{221})，微温/(v_{222})，… |
| 雨 | (u_{11}) | 雨/(v_{111})，倾盆大雨/(v_{112})，… |
| 雪 | (u_{13}) | 雪/(v_{131})，降雪/(v_{132})，… |
| 嘈杂 | (u_{31}) | 嘈杂/(v_{311})，喧闹/(v_{312})，… |
| 安静 | (u_{32}) | 安静/(v_{321})，寂静/(v_{322})，… |

状态空间包含问候对话中使用的所有词语，词语的权重随状态变化，所有词语都与一个状态词相关，与某个状态词相关的词语组称为该词的状态词组。

8. 问候情境的权重

在问候中，有两种重要的权重用于衡量语句的适用性，分别是词语重要性程度和特殊性程度。

8.1 词语重要性程度

口语问候中，简单易懂的词语更常用。我们使用概念库逆文档频率（IDF）来表示词语的有用程度。概念库 IDF 与词语在概念库中的使用频率相关，低频词在日常对话中使用较少，可通过概念库 IDF 排除这些词语。概念 IDF 的计算公式如下：
[idf(t) = \log \frac{N_{ALL}}{df(t)}]
其中，(t) 为目标词语，(N_{ALL}) 为概念库中所有概念的数量，(df(t)) 为概念库属性中词语 (t) 的数量。

8.2 特殊性程度

当我们感觉某种状态特殊时，会提及该状态。特殊性程度表示话题的值得关注程度，每个状态词被赋予一个特殊性程度值，取值为 ({-1, 0, 1, 2})。负值表示该状态词不应作为话题提及。例如，当状态为“热”时，状态词“热”赋值为 1，而“冷”“凉”“暖”赋值为 -1；若状态为“非常热”，“热”赋值为 2 以提高话题的值得关注程度；若状态既不热、不凉、不暖也不冷，这些状态词赋值为 0，表示无明显感觉，当机器没有相关传感器时也使用该值。一个状态词组中的所有词语与该状态词具有相同的值。

这些权重取决于状态，以状态空间的形式表示。词语的权重由这些权重的乘积决定，扩展语句也可具有这些权重。若句子中有某个词语的值为负，则该句子的权重为负值。通过计算句子中所有词语权重的平均值，可选择与相应情境对应的句子。

9. 评估

对所提出的系统进行两方面评估，一是扩展和精炼后语句的准确性和数量，二是根据情境选择语句的合适性。

9.1 增加对话问候语句数量

从扩展语句中随机选取 300 条评估语句，由三人根据问候的常识正确性进行评估。准确性是三人判断的常识正确性的平均值。结果表明，所提出的方法能提高问候语句的准确性和数量，具体数据如下表所示：
| 类型 | 准确性 | 语句数量 |
| ---- | ---- | ---- |
| 模型语句 | 38% | 803 |
| 简单扩展 | 38% | 205634 |
| 提出的方法 | 84% | 23891 |

9.2 基于情境的问候语句选择

为 20 种情境（天气、温度和湿度、亮度、时间和声音音量）准备评估集。在每种情境下，生成状态空间，使用所提出的技术为扩展语句赋值，选取值较高的六条语句作为评估语句。由三人评估语句与情境模式的合适性，并与随机输出语句的准确性进行比较，以验证所提出方法的有效性。结果如下表所示：
| 类型 | 准确性 |
| ---- | ---- |
| 无情境处理 | 10% |
| 提出的系统 | 80.6% |

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
    A[原始模型语句]:::process --> B[语句扩展]:::process
    B --> C[错误语句删除]:::process
    C --> D[基于情境选择语句]:::process
    D --> E[评估]:::process
    E --> F{是否满足要求}:::process
    F -->|是| G[使用语句]:::process
    F -->|否| B

10. 讨论

通过对比可以看出，所提出的生成扩展问候语句的方法有效。例如，“这是一条美丽的河”扩展为“这是美丽的风景”等语句可作为问候语句，而“这是一个美丽的水怪”等语句会被自动删除。

所提出的根据情境加权选择语句的技术也很有效，准确性达到 80.6%，而随机输出语句的准确性仅为 10%。

11. 结论

本文提出的方法将问候语句的准确性提高到 84%，从 803 条模型语句增加到 23891 条问候语句。基于情境选择合适语句的技术准确性达到 80.6%，而不考虑情境时准确性为 10%，表明该方法有效。

应用该技术时，即使在相同情境下，机器在不同对话中也不会使用相同的语句回复，因为可以从高权重语句中选择不同的回复，从而实现智能对话，提高对话满意度。