提升常识推理与构建健康知识图谱
1. 语言模型与常识知识实验
在语言模型对常识物理知识的响应及理解能力的研究中,进行了一系列实验,以探究将常识知识融入语言模型输入对结果的影响,并与普通百科定义以及无额外知识的情况进行对比。
1.1 模型准确性对比
从三个视角对不同模型的准确性进行了评估,具体数据如下表所示:
| 模型 | 基线(无额外知识)准确率(%) | 定义(来自Wiktionary的知识)准确率(%) | 可供性(来自ConceptNet的可供性)准确率(%) |
| — | — | — | — |
| roberta - base | 73.6 | 72.3 | 74.4 |
| roberta - large | 77.9 | 75.2 | 78.9 |
| albert - base - v2 | 57.6 | 54.5 | 61.6 |
| albert - xlarge - v2 | 57.9 | 52.3 | 61.2 |
| distilbert - base - uncased | 64.9 | 64.4 | 66.9 |
从这个表格中可以看出,不同模型在不同知识输入下的准确率有所差异。在可供性知识输入的情况下,部分模型取得了相对较高的准确率。
1.2 不同设置下的准确率
还对各种设置下的模型准确率进行了测试,设置包括独立(所有可能的可供性)、仅第一个(仅找到的第一个可供性)、定义(所有可能的可供性和定义)、互补(仅在未找到可供性时添加定义),具体数据如下:
| 模型 | 独立准确率(%) | 仅第一个准确率(%