24、文本隐含信息解读：从AI局限到实际应用探索

文本隐含信息解读：从AI局限到实际应用探索

1. RBL与常识的关联

构建具备常识和推理能力以支持RBL（Reading between the lines，字里行间的解读）是当前人工智能发展的重要挑战。AI系统若要高效利用数据，就需要世界知识和常识。仅依靠大量数据的盲目处理的AI系统注定会失败，因为知识并非从数据中自然涌现，人类是依靠大脑的固有结构与世界交互，并利用数据来探索和学习。

为了让AI具备常识和推理能力，有多个并行的研究方向：
- 结合符号和神经表示。
- 将知识融入推理过程。
- 构建超越分类问题的基准测试。

在语言建模方面，其目标是找到最可能的短语，而非基于哲学证明来确定存在性。例如，对于正确的RBL，需要找到语义上最相似的单个短语，而非多个有些相似短语的形式化表示。

识别文本蕴含关系（RTE），如今常被表述为自然语言推理（NLI），是判断前提句子与假设句子之间蕴含、矛盾或中立关系的任务。尽管在大规模SNLI数据集发布后，许多端到端的神经模型在该任务的测试集上取得了较高的准确率，但最先进的深度学习系统在泛化能力上表现不佳。这引发了一系列问题：
|问题|详情|
|----|----|
|深度学习方法是否本质上更强，无需外部词汇知识？|目前还不确定深度学习方法是否能完全脱离外部词汇知识，其在某些任务中的表现可能掩盖了对外部知识的需求。|
|大规模训练数据是否能实现对先前明确词汇知识的隐式学习？|虽然大规模数据可能包含丰富的信息，但能否自动学习到明确的词汇知识还需要进一步研究。|
|NLI数据集是否比早期RTE数据集更简单，所需知识更少？|不同数据集的设计目的和难度可能不