PromptBench是一个用于评估大型语言模型（LLM）的统一库，包括提示构建、数据集、模型加载等功能，旨在促进LLM的研究和基准测试。此库开源、通用且灵活，支持对抗性提示攻击和动态评估协议，有助于创建更稳健的模型。
本文是LLM系列文章，针对《PromptBench: A Unified Library for Evaluation of Large Language Models》的翻译。
PromptBench:一个用于评估大型语言模型的统一库
摘要
大型语言模型（LLM）的评估对于评估其性能和降低潜在的安全风险至关重要。在本文中，我们介绍了PromptBench，一个用于评估LLM的统一库。它由几个研究人员可以轻松使用和扩展的关键组件组成：提示构建、提示工程、数据集和模型加载、对抗性提示攻击、动态评估协议和分析工具。PromptBench被设计为一个开放、通用和灵活的代码库，用于研究目的。它旨在促进在创建新的基准、部署下游应用程序和设计新的评估协议方面的原始研究。代码位于：https://github.com/microsoft/promptbench并将得到持续支持。
已下架不支持订阅
扫一扫
2139
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
