17、问答系统：应用现状与未来方向

问答系统：应用现状与未来方向

1. 常见问答系统介绍

1.1 IBM Watson

IBM Watson基于DeepQA项目开发，旨在参加Jeopardy!挑战赛，它综合利用文本和知识图谱数据源来提取问题答案，其处理流程如下：
1. 假设生成（Hypothesis Generation）
- 初步搜索（Primary search） ：目标是检索可能包含正确答案的所有内容，追求较高的召回率。使用多种文本搜索算法，如文档搜索、段落搜索，还利用SPARQL搜索知识库中的三元组。在DeepQA中，最优的初步搜索在前250个问题上实现了85%的召回率。
- 候选答案生成（Candidate answer generation） ：根据初步搜索的输出，按照搜索方法生成候选答案。例如，对于标题导向资源的文档搜索返回的文档，可利用标题生成候选答案。从段落搜索返回的段落生成候选答案时，需要进行包括命名实体识别（NER）在内的一些分析。使用字典查找或知识库时，直接从搜索结果中生成候选答案。此步骤优先考虑召回率，后续步骤再确定候选答案的正确性。
2. 软过滤（Soft Filtering） ：初始的候选答案集非常大，对所有候选答案进行复杂的评分计算效率不高。因此，使用轻量级评分函数，通过排除最可能错误的候选答案来修剪候选答案集。为每个候选答案计算软过滤分数，满足软过滤阶段阈值要求的候选答案将进入后续评分步骤（假设和证据评分），其他则进入最后合并步骤。
3. 假设和证据评分（Hypothesis an