EvalAssist: A Human-Centered Tool for LLM-as-a-Judge

文章主要内容总结

本文介绍了EvalAssist——一个以人为中心的工具，旨在简化“以LLM作为评判者（LLM-as-a-judge）”的工作流程。该工具主要解决大规模语言模型（LLM）输出评估中耗时、成本高、流程复杂的问题，帮助从业者高效判断不同模型和提示词在特定任务中的表现。

其核心功能包括：

1. 提供在线评估标准开发环境，支持用户交互式构建、测试和分享自定义评估标准（结构化且可移植格式）；
2. 支持基于LLM的评估流程，利用现成LLM和基于UNITXT开源库的“提示链（prompt-chaining）”方法；
3. 包含专门训练的评估器，用于检测LLM输出中的危害和风险；
4. 已在内部部署，服务数百名用户。

工具设计围绕五个核心目标：隔离生成与评估过程、降低评估成本、支持多种AI评估器、包含偏见指标、支持灵活的评估方法（直接评估和 pairwise 比较），以满足从业者对复杂LLM工作流的评估需求。

创新点

1. 隔离生成与评估：不同于其他工具将提示词工程与评估耦合，EvalAssist分离两者，适用于需要设计复杂LLM工作流以选择最优模型的开发者。
2. 降低大规模评估成本：支持先通过子集数据测试和优化评估标准，再通过SDK应用于全量数据，适合处理大型数据集。
3. 模型无关性：允许用户选择任意LLM作为评估器，解决“自我增强偏见”（模型偏向自身输出），而其他