PurpleLlama项目实战：如何为LlamaFirewall添加自定义用例

PurpleLlama项目实战：如何为LlamaFirewall添加自定义用例

PurpleLlama Set of tools to assess and improve LLM security. 项目地址: https://gitcode.com/gh_mirrors/pu/PurpleLlama

前言

在人工智能安全领域，针对不同应用场景的安全防护需求差异很大。PurpleLlama项目中的LlamaFirewall组件为解决这一问题提供了灵活的解决方案。本文将深入讲解如何为LlamaFirewall添加自定义安全用例，帮助开发者根据实际业务需求构建专属的安全防护体系。

理解LlamaFirewall用例概念

用例（Use Case）在LlamaFirewall框架中代表特定的应用场景，每个用例需要配置不同的扫描层（Scanning Layers）和扫描器（Scanners）来有效检测和防范潜在的安全威胁。

核心设计理念

LlamaFirewall采用基于角色的扫描策略，针对不同角色（如USER、SYSTEM、ASSISTANT等）配置特定的扫描器组合。这种设计使得安全防护能够精确匹配不同交互环节的安全需求。

系统预定义用例分析

LlamaFirewall目前内置了两个典型用例，可作为自定义开发的参考模板：

1. 聊天机器人防护用例（CHAT_BOT）

UseCase.CHAT_BOT: {
    Role.USER: [ScannerType.PROMPT_INJECTION],
    Role.SYSTEM: [ScannerType.PROMPT_INJECTION],
}

该用例专注于防范提示注入攻击（Prompt Injection），对用户和系统角色的输入都进行提示注入检测，适用于对话类AI应用场景。

2. 代码助手防护用例（CODING_ASSISTANT）

UseCase.CODING_ASSISTANT: {
    Role.ASSISTANT: [ScannerType.CODE_SHIELD],
    Role.TOOL: [ScannerType.CODE_SHIELD],
}

此用例针对代码生成场景设计，主要防范恶意代码攻击，对助手和工具角色的输出进行代码安全检测。

初始化LlamaFirewall的三种方式

方法一：使用预定义用例

from security.llamafirewall_pre_oss.llamafirewall import LlamaFirewall, UseCase

# 使用代码助手用例初始化
llamafirewall = LlamaFirewall.from_usecase(UseCase.CODING_ASSISTANT)

方法二：自定义配置

开发者可以完全自定义扫描策略，不依赖预定义用例。

方法三：扩展预定义用例（推荐）

这是本文重点介绍的方式，结合了前两种方法的优势。

实战：添加自定义用例

步骤1：定义新用例枚举

首先扩展UseCase枚举类，添加新的用例标识：

from enum import Enum

class UseCase(Enum):
    WEB_APPLICATION = "web_application"  # 新增Web应用防护用例

步骤2：配置扫描策略

在PREDEFINED_USE_CASES字典中添加新用例的扫描策略：

PREDEFINED_USE_CASES[UseCase.WEB_APPLICATION] = {
    Role.USER: [
        ScannerType.MALICIOUS_UPLOADS,  # 恶意文件上传检测
        ScannerType.XSS  # 跨站脚本攻击检测
    ],
    Role.SYSTEM: [
        ScannerType.CONFIG_MISALIGNMENT,  # 配置偏差检测
        ScannerType.SENSITIVE_DATA_LEAKAGE  # 敏感数据泄露检测
    ],
    Role.ASSISTANT: [
        ScannerType.API_ABUSE  # API滥用检测
    ]
}

步骤3：使用自定义用例

初始化时指定自定义用例：

web_app_firewall = LlamaFirewall.from_usecase(UseCase.WEB_APPLICATION)

高级配置技巧

1. 多层级扫描：为关键角色配置多个扫描器，形成纵深防御
2. 性能优化：根据业务特点调整扫描顺序，将高频检测放在前面
3. 自定义扫描器：集成业务特有的安全检测逻辑
4. 动态调整：根据运行时上下文动态启用/禁用特定扫描器

最佳实践建议

1. 用例设计原则：

   • 单一职责：每个用例应聚焦特定场景
   • 可组合性：支持多个用例组合使用
   • 可扩展性：方便后续添加新扫描器

2. 测试验证：

   • 为每个自定义用例编写测试案例
   • 验证扫描器组合的覆盖率和性能
   • 进行渗透测试验证防护效果

3. 监控与迭代：

   • 记录扫描结果统计信息
   • 分析误报/漏报情况
   • 定期优化扫描策略

总结

通过LlamaFirewall的自定义用例功能，开发者可以构建高度定制化的AI安全防护体系。本文详细介绍了从用例设计到实施的全过程，包括系统预定义用例分析、自定义用例开发流程以及高级配置技巧。实际应用中，建议先从小范围试点开始，逐步完善扫描策略，最终形成适合自身业务特点的安全解决方案。

PurpleLlama Set of tools to assess and improve LLM security. 项目地址: https://gitcode.com/gh_mirrors/pu/PurpleLlama