Towards Recommending Usability Improvements with Multimodal Large Language Models

文章总结与翻译

一、文章主要内容

本文聚焦于利用多模态大型语言模型（Multimodal LLMs）优化可用性评估流程，旨在解决传统可用性评估（如可用性测试、专家审查）资源密集、依赖专业人员，难以被小型组织采用的问题。

1. 核心研究背景

• 可用性的重要性：可用性是用户界面（UI）的关键质量属性，直接影响人机交互效果，关乎软件系统的成功与收益，适用于电商、教育、企业应用等各类场景。
• 传统评估的局限：传统方法（如用户测试、专家审查）耗时久、成本高，且依赖专业人员；现有自动化工具（如规则驱动工具、启发式检查器）仅能覆盖有限场景，难以处理主观或上下文相关问题。
• 多模态LLMs的潜力：多模态LLMs可处理文本、图像等多类型输入，能结合界面截图、用户角色描述等信息分析可用性问题，为自动化评估提供可能，但此前研究仍需专家验证，且未涉及问题优先级排序。

2. 研究设计与方法

• 任务框架：将可用性评估转化为“推荐任务”——多模态LLMs分析软件界面（输入包括应用描述、用户角色定义、评估标准、界面截图），生成按严重程度排序的可用性问题列表，并附带改进建议。
• 实验设置：
  • 评估对象：选择学习平台KnowledgeCheckR（支