27、认知推理中的否定处理与对抗样本检测

认知推理中的否定处理与对抗样本检测

1. 认知推理中的否定处理

1.1 否定词识别策略测试

在认知推理系统中，检测自然语言中的句法否定十分重要。为了将负信息替换为其正面对应物（即逆信息），需要识别否定词（negatus）并将其替换为逆信息。采用了不同策略来识别否定词，其中组合策略表现最佳，在相关否定任务中处于中等水平。

对100个手动标注的StoryClozeTest任务和Cloze - NEG基准进行了测试，结果如下表所示：
| 方法 | Prec. | Rec. | F1 |
| — | — | — | — |
| Baseline | 59.52 | 59.52 | 59.52 |
| FNS | 57.85 | 55.56 | 56.68 |
| FV | 54.33 | 49.21 | 51.67 |
| FV + FNS | 56.35 | 56.35 | 56.35 |
| Comb. | 66.67 | 66.67 | 66.67 |

从表中可以看出，组合策略（Comb.）的各项指标相对较高，说明该策略在识别否定词方面具有优势。

1.2 否定处理对推理系统的影响

常识推理问题公式中否定范围过大，会导致CoRg系统中的Hyper推理器推理次数减少，极端情况下返回空模型。将否定处理方法集成到CoRg系统中，对StoryClozeTest中的所有问题进行处理，取得了显著效果：
- 完全空模型的数量从164个减少了71.95%，降至46个。
- 每个模型中不同谓词名称的平均数量从18.83增加到19.35，在11,1