老白的博客，致力于分享c#,python以及人工智能相关资讯

最近，Terminal-Bench的开发团队带来了两个重磅发布：Terminal-Bench 2.0，一个专注于评估自主AI代理在真实终端任务上的性能的基准测试套件，以及配套的运行框架Harbor。老白觉得这次更新有点让人眼前一亮，解决了很多关于测试和优化AI代理时困扰开发者和研究人员的老问题，尤其是那些需要在开发者环境中自主运行的AI代理。

在 2024-2025年间，MILU 应运而生，旨在弥补 MMMU（多模态知识理解）基准测试与实际可用性之间的一个细微但关键的差距。尽管 MMMU 测试的是多模态知识，MILU 则专注于测试多模态指令的执行能力。其目标是评估模型在理解视觉输入的同时，生成细致的文本或图形输出的能力，以及执行复杂、连贯任务的表现。MILU 测量模型作为一个合格且有帮助的多模态助手的能力。MILU 是一个新兴的基准测试类别，目前主要由开发面向消费者的多模态产品的公司推动。MILU 提供的任务要求模型根据用户指令对图像进行操作。

HumanEval是由 OpenAI于2021年开发的，用于评估大型语言模型（LLMs）的代码生成能力。随着像 Codex（GitHub Copilot的前身）这样的模型展现出非凡的软件编写能力，创建一种标准化的评估方法变得至关重要。早期的模型甚至难以解决少量问题。这推动了更高级的代码基准测试的发展，例如 MBPP（Mostly Basic Programming Problems）和更大规模的项目型评估。，它衡量在 k 个生成的解决方案中至少有一个能通过单元测试的比例。模型的任务是完成函数体。