14、融合人类视觉注意力的灾害场景评估系统

融合人类视觉注意力的灾害场景评估系统

1. 人类视觉注意力与DDA算法的问题

在灾害场景评估中，传统的DDA（Disaster Damage Assessment）算法存在一个关键问题，即“视觉注意力”不准确。视觉注意力指的是AI算法为识别场景损坏程度而聚焦的图像区域。通过对比三种代表性DDA算法的视觉注意力（以热图展示）和人类注意力的真实标注（红色区域）发现，这些DDA算法在不同程度上无法准确聚焦于人类感知到的损坏区域，而人类在识别图像中的感兴趣区域方面往往比神经网络注意力机制更出色。

尝试引入神经注意力机制来改善DDA算法的视觉注意力，但这种方法存在一些局限性：
- 缺乏针对灾害事件的专用训练数据，这通常是由于标注成本高昂导致的。
- 神经网络的设计和结构会产生固有的算法偏差。
- 社交媒体图像具有噪声特性，拍摄角度、背景和分辨率各不相同。

为解决这些问题，开发了一种名为交互式灾害场景评估（iDSA）的新型人机DDA系统。该系统的创新之处在于利用人类知识与DDA算法进行交互，调整图像的注意力区域，从而提高DDA结果的准确性。使用众包平台（如Amazon Mechanical Turk）获取人类知识，因其具有成本效益和大量自由职业者。然而，设计这样的人机交互系统面临一些关键技术挑战，主要在于理解和修复基于AI的DDA模型不准确的视觉注意力。

2. iDSA框架概述

iDSA被设计为一个人群 - AI混合系统，由四个主要模块组成：
|模块名称|功能描述|
| ---- | ---- |
|Crowd Task Generation (CTG) 模块|生成一组众包查询，以获取人类