DeepTeam 开源项目最佳实践教程

DeepTeam 开源项目最佳实践教程

deepteam The LLM Red Teaming Framework 项目地址: https://gitcode.com/gh_mirrors/de/deepteam

1. 项目介绍

DeepTeam 是一个简单易用的开源大型语言模型（LLM）红队框架，用于对大型语言模型系统进行安全性测试。它集成了最新的研究成果，模拟敌手攻击，如越狱和提示注入，以发现潜在的偏差和个人信息泄露等潜在问题。DeepTeam 在本地运行，使用 LLM 进行攻击模拟和评估。无论你的 LLM 系统是 RAG 管道、聊天机器人、AI 代理还是仅限于 LLM 本身，DeepTeam 都可以帮助你在用户发现之前捕捉到安全风险和潜在问题。

2. 项目快速启动

首先，确保你已经安装了 Python 环境。以下是快速启动 DeepTeam 的步骤：

# 安装 DeepTeam
pip install -U deepteam

# 创建一个测试文件
touch red_team_llm.py

# 编辑 red_team_llm.py 文件
# 在文件中定义一个 model_callback 函数，如下所示：

async def model_callback(input: str) -> str:
    # 替换这里的内容为你的 LLM 应用程序
    return f"I'm sorry but I can't answer this: {input}"

# 导入潜在问题和攻击，以及你定义的 model_callback
from deepteam import red_team
from deepteam.vulnerabilities import Bias
from deepteam.attacks.single_turn import PromptInjection

# 定义潜在问题和攻击
bias = Bias(types=['race'])
prompt_injection = PromptInjection()

# 运行红队测试
risk_assessment = red_team(
    model_callback=model_callback,
    vulnerabilities=[bias],
    attacks=[prompt_injection]
)

# 运行文件
python red_team_llm.py

运行上述代码后，你将成功完成第一次红队测试。

3. 应用案例和最佳实践

应用案例

• 对话系统安全性测试：使用 DeepTeam 对聊天机器人进行安全性测试，发现潜在的偏差和泄露问题。
• 信息检索系统评估：检查信息检索系统的鲁棒性，确保它不会受到敌手攻击的影响。

最佳实践

• 定义清晰的攻击场景：为你的 LLM 系统定义可能的攻击场景，以便更有效地模拟和检测潜在问题。
• 定期进行安全评估：定期使用 DeepTeam 对 LLM 系统进行安全评估，以确保系统的安全性和稳定性。

4. 典型生态项目

DeepTeam 是 Confident AI 团队构建的，它使用了 DeepEval 这个开源 LLM 评估框架。DeepTeam 与其他开源项目协同工作，共同构建一个更安全、更可靠的 LLM 生态系统。以下是一些与 DeepTeam 相关的典型生态项目：

• DeepEval：一个开源的 LLM 评估框架，用于评估和改进 LLM 的性能。
• OWASP Top 10 for LLMs：面向 LLM 的 OWASP Top 10 安全指南，为 LLM 开发者提供安全最佳实践。
• NIST AI RMF：美国国家标准与技术研究院（NIST）的人工智能风险管理框架，用于指导 AI 系统的开发和部署。

通过整合这些项目，开发者可以构建更安全、更可靠的人工智能系统。

deepteam The LLM Red Teaming Framework 项目地址: https://gitcode.com/gh_mirrors/de/deepteam