35、问答与对话系统的深入探索

问答与对话系统的深入探索

1. 领域研究概述

问答系统是一个活跃且广泛的领域。有一些关于问答系统和问题类型的简要但实用的综述。对于受限领域和开放领域的问答系统，也有更全面的介绍资料。常见的问答方法包括利用结构化知识源（如知识图谱和本体）的系统、基于检索的系统、交互式问答、视觉问答以及基于深度学习的方法等。

对话系统近年来受到了广泛关注，这主要得益于语音识别和自然语言理解的进步。对话的言语行为理论被广泛接受，早期也有关于将对话作为决策过程的统计方法的研究，同时也有对统计对话建模的综合概述。马尔可夫决策过程框架有其基础理论，部分可观测马尔可夫决策过程也有相关讨论。强化学习有全面的介绍，时间差分学习和Q学习也有相关探讨。较新的数据驱动方法通常将对话系统建模为端到端架构，使用深度神经网络实现面向任务和非面向任务的系统。

2. 问答系统相关练习

2.1 意图分类相关

• 研究 get_intent 函数，它用于根据意图对输入问题进行分类。使用 qatable.csv 数据集训练 intent_classifier.mat 分类模型。
  • 利用 qatable.csv 中的 testset 列（二进制标志，0表示训练集，1表示测试集），使用测试集问题评估分类器。
  • 利用相同的数据划分，根据 type 列信息（请求与确认）训练并评估一个新的分类器，检测输入问题的类型，并创建相应的 get_type