NeMo Guardrails 服务器部署与使用指南

NeMo Guardrails 服务器部署与使用指南

NeMo-Guardrails NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems. 项目地址: https://gitcode.com/gh_mirrors/ne/NeMo-Guardrails

概述

NeMo Guardrails 是一套用于构建安全、可控对话系统的工具包。本文将深入讲解其核心组件——Guardrails Server（护栏服务器）和 Actions Server（动作服务器）的部署与使用方法，帮助开发者快速搭建生产级对话系统。

一、Guardrails Server 详解

1.1 服务器特性

Guardrails Server 是基于 FastAPI 构建的 HTTP 服务，具有以下核心功能：

• 加载预定义的护栏配置集
• 提供可视化交互界面（Chat UI）
• 支持多配置并行管理
• 提供标准化的 API 接口

1.2 启动与配置

启动命令示例：

nemoguardrails server --config ./my_configs --port 8080 --prefix /api

关键参数说明：

• --config：指定配置目录路径（默认为当前目录下的config文件夹）
• --port：服务监听端口（默认8000）
• --prefix：API路径前缀（适用于微服务架构）
• --auto-reload：开发模式下的自动重载功能

配置目录结构要求：

config/
├── hr_assistant/
│   ├── config.yml
│   └── policies.co
├── customer_service/
│   ├── ...

1.3 核心API接口

1.3.1 配置列表查询

GET /v1/rails/configs

返回当前服务器加载的所有护栏配置ID列表

1.3.2 对话补全接口

POST /v1/chat/completions

请求示例：

{
    "config_id": "hr_policy",
    "messages": [{
        "role": "user",
        "content": "如何申请年假？"
    }]
}

高级功能：

• 多配置合并：通过config_ids数组指定多个配置
• 默认配置：通过--default-config-id参数设置

1.4 会话线程管理

服务器支持会话状态维护，适用于第三方集成场景：

1. 配置数据存储后端（支持MemoryStore/RedisStore）
2. 在请求中添加thread_id字段（长度≥16字符）

注意事项：

• 当前不支持流式响应模式
• 需自行实现数据清理机制

1.5 安全与跨域

生产环境建议：

• 通过--disable-chat-ui禁用调试界面
• 严格配置CORS策略：

export NEMO_GUARDRAILS_SERVER_ENABLE_CORS=True
export NEMO_GUARDRAILS_SERVER_ALLOWED_ORIGINS=https://yourdomain.com

二、Actions Server 详解

2.1 设计理念

Actions Server 是安全架构的关键组件，实现：

• 动作执行环境隔离
• 敏感操作集中管控
• 权限最小化原则

2.2 服务部署

启动命令：

nemoguardrails actions-server --port 8001

服务会自动注册：

• 系统内置动作（如搜索引擎查询）
• 本地自定义动作（当前目录下的Python文件）

2.3 核心接口

2.3.1 动作列表查询

GET /v1/actions/list

2.3.2 动作执行接口

POST /v1/actions/run

示例请求：

{
    "action_name": "weather_query",
    "action_parameters": {
        "location": "北京"
    }
}

三、最佳实践建议

1. 开发环境：

   • 使用--auto-reload加速迭代
   • 通过Chat UI快速验证逻辑

2. 生产环境：

   • 禁用Chat UI界面
   • 部署独立的Actions Server
   • 启用CORS白名单
   • 使用Redis作为会话存储

3. 性能优化：

   • 合理组织配置结构
   • 避免过度复杂的规则组合

通过本文介绍的部署方案，开发者可以构建出既灵活又安全的对话系统，在保证用户体验的同时有效控制风险边界。

NeMo-Guardrails NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems. 项目地址: https://gitcode.com/gh_mirrors/ne/NeMo-Guardrails