GUI-G2: GAUSSIAN REWARD MODELING FOR GUI GROUNDING

文章主要内容和创新点

主要内容

本文聚焦于GUI定位（Graphical User Interface Grounding） 任务，即如何将自然语言指令精准映射到图形用户界面的具体位置，以实现自主交互。现有基于强化学习的方法采用二进制奖励机制（命中目标元素记为1，未命中记为0），但这种稀疏信号忽略了空间交互的连续性（如人类点击行为在目标中心周围呈连续分布）。

为此，本文提出GUI-G²（GUI Gaussian Grounding Rewards）框架，将GUI元素建模为二维高斯分布，通过连续奖励信号优化定位性能。该框架包含：

• 高斯点奖励：基于预测中心与目标中心的距离，以指数衰减形式衡量定位精度；
• 高斯覆盖奖励：通过Bhattacharyya系数计算预测高斯分布与目标区域的空间重叠度；
• 自适应方差机制：根据元素尺寸动态调整高斯分布的方差，以适应不同大小的界面元素。

实验表明，GUI