artkit：自动化红队测试与生成AI应用评估工具

artkit：自动化红队测试与生成AI应用评估工具

artkit Automated prompt-based testing and evaluation of Gen AI applications 项目地址: https://gitcode.com/gh_mirrors/ar/artkit

项目介绍

artkit 是由 BCG X 开发的一个 Python 框架，旨在为生成 AI 应用提供自动化的提示型测试和评估。artkit 利用灵活的生成 AI 模型来自动化测试和评估过程中的关键步骤，使其管道能够轻松适应各种生成 AI 系统的测试和评估需求。

artkit 不仅支持自动化多轮对话测试，还允许创建一个挑战者机器人与目标系统之间的自动化多轮对话。由于与生成 AI 系统的长期交互更有可能暴露问题和漏洞，因此对于交互式应用来说，多轮测试至关重要。

项目技术分析

artkit 提供了一套简单但强大的函数和类，用于开发快速、灵活且适合特定目的的测试和评估管道。其技术特点如下：

• 简单的 API：artkit 提供了一套支持自定义管道的简单但强大的函数，可以测试和评估几乎所有类型的生成 AI 系统。
• 异步处理：利用异步处理加速依赖于 API 调用的过程。
• 缓存机制：通过缓存 API 响应来减少对外部服务的调用次数，从而降低开发成本。
• 模型无关性：artkit 支持连接到主要的生成 AI 模型提供商，并允许用户开发新的模型类以连接到任何生成 AI 服务。
• 端到端管道：构建端到端的流程，生成测试提示，与目标系统交互，执行定量评估，并组织结果以便报告。
• 多轮对话：创建自动化的交互式对话，对话中的 LLM 个性与目标系统交互，以追求特定的目标。

项目技术应用场景

artkit 可用于以下几种生成 AI 系统的测试和评估场景：

1. 问答准确性：生成问答黄金数据集，模拟用户输入的变化，并评估系统响应的忠实度、完整性和相关性。
2. 维护品牌价值观：实施基于角色的测试，模拟不同用户与系统的交互，并评估系统响应的品牌一致性。
3. 公平性：通过系统修改一组文档的人口统计指标，统计评估系统响应的不希望的人口偏见。
4. 安全性：使用对抗性提示增强来加强来自提示库的对抗性提示，并评估系统对对抗性输入的拒绝参与度。
5. 安全性：使用多轮攻击者执行多轮策略来提取聊天机器人中的系统提示，挑战系统的提示渗透防御。

项目特点

artkit 的优势在于它允许用户以最少的代码实现强大的功能。以下是 artkit 的一些关键特点：

• 简单 API：支持自定义管道的开发。
• 异步处理：加速 API 调用依赖的过程。
• 缓存机制：减少外部服务调用，降低成本。
• 模型无关性：支持多种生成 AI 模型提供商。
• 端到端管道：构建完整的测试和评估流程。
• 多轮对话：支持自动化多轮交互测试。
• 数据流追踪：自动追踪数据流，确保结果的可追溯性。
• 可视化：生成流程图以可视化管道结构和数据流。

artkit 旨在通过自动化测试和评估来扩展和加速人类在环测试和评估，而不是替代针对每个生成 AI 用例进行的特定风险评估、领域专长和批判性思维。通过 artkit，开发人员可以构建出既快速又灵活的 AI 测试和评估管道，为生成 AI 系统的优化和改进提供有力支持。

artkit Automated prompt-based testing and evaluation of Gen AI applications 项目地址: https://gitcode.com/gh_mirrors/ar/artkit