从文本到多模态：MILU如何重新定义语言理解水平

起源与目标

在 2024-2025年间，MILU 应运而生，旨在弥补 MMMU（多模态知识理解）基准测试与实际可用性之间的一个细微但关键的差距。尽管 MMMU 测试的是多模态知识，MILU 则专注于测试多模态指令的执行能力。其目标是评估模型在理解视觉输入的同时，生成细致的文本或图形输出的能力，以及执行复杂、连贯任务的表现。MILU 测量模型作为一个合格且有帮助的多模态助手的能力。

工作原理

MILU 提供的任务要求模型根据用户指令对图像进行操作。这些指令通常复杂、具有顺序性且以对话形式呈现。例如：

• “在我附上的客厅照片中，请为沙发后面的墙壁推荐三种不同的油漆颜色。通过更改图像中墙壁的颜色生成样例，并解释每种颜色会营造出怎样的氛围。”
• “分析这张柱状图。找出最显著的趋势，圈出对应的数据点，并为非专业读者写一段简洁的总结。”
  评估方式主要是定性分析，通常依赖人工评分来判断模型响应的帮助性、准确性和相关性。

为什么重要：优势与影响

MILU 正在推动模型从被动观察者向主动参与者的角色转变。

• 测试代理行为
  它是评估更复杂 AI 代理系统的前奏，这些系统不仅能回答问题，还能执行实际任务。
• 聚焦用户交互
  在 MILU 中，模型的成功与否取决于其帮助用户实现目标的能力，这是以用户为中心的 AI 产品中的关键指标。
• 结合感知、推理与行动
  任务要求模型具备“看、思考和‘行动’”的能力，即便这种“行动”仅仅是生成修改后的文本或图像。

局限性与缺点

MILU 面临的最大挑战在于评估的主观性和成本：

• 很难用简单的“对”或“错”来判定结果的优劣。
• 评估设计建议的质量或总结的清晰度需要人工判断，这既耗时又难以规模化。
• 这种评估方式使得快速、广泛的模型比较变得困难。

当前进展

MILU 是一个新兴的基准测试类别，目前主要由开发面向消费者的多模态产品的公司推动。虽然还没有标准化的排行榜，但 MILU 代表了评估下一代交互式 AI 的重要方向。