Mitigating Geospatial Knowledge Hallucination in Large Language Models: Benchmarking and Dynamic ...

文章主要内容总结

本文聚焦大语言模型（LLMs）中的地理空间知识幻觉问题（即生成不准确或不一致的地理空间信息），系统性地开展了评估与 mitigation 研究。主要内容包括：

1. 问题提出：LLMs虽已应用于移动预测、社会指标预测等地理空间任务，但存在地理空间知识幻觉，影响可靠性，而现有研究对其系统性评估和缓解不足。
2. 评估框架：构建了结构化地理空间知识图谱SpatialKG，基于此设计了评估基准GEOHALUBENCH，包含3个一级类别、5个二级类别的地理空间幻觉分类（如实体捏造、关系遗漏、属性混淆等），并评估了20个先进LLMs，发现多数模型（尤其是开源模型）存在显著幻觉。
3. 缓解方法：提出DynamicKTO方法，基于Kahneman-Tversky优化（KTO），通过动态调整超参数β（针对实体、关系、属性分别设为0.1、0.3、0.5），实现地理空间知识的动态事实对齐，在GEOHALUBENCH上性能提升超29.6%。
4. 实验验证：验证了GEOHALUBENCH的鲁棒性和DynamicKTO的有效性，小型开源模型（如Llama3.1-8B）经优化后性能接近顶尖模型。

创新点

1. 首次系统性研究：首次对LLMs的地理空间知识幻觉进行系统性评估和缓解。
2. 构建专用基准：开发GEOHALUBENC