NeMo Guardrails高级指南：生成选项详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00105/article/details/148523446

NeMo Guardrails高级指南：生成选项详解

引言

在构建基于大语言模型(LLM)的对话系统时，精细控制生成过程至关重要。NeMo Guardrails作为NVIDIA推出的对话安全框架，提供了一套强大的生成选项(Generation Options)机制，允许开发者对LLM生成过程进行细粒度控制。本文将深入解析这些生成选项的功能与应用场景。

生成选项概述

生成选项是NeMo Guardrails提供的配置参数集合，主要功能包括：

控制启用的安全护栏类型
传递额外参数给底层LLM
返回上下文变量数据
获取详细的日志信息

这些选项既可通过Python API使用，也能通过服务端API调用。

核心生成选项详解

1. 输出变量控制(output_vars)

在对话流程中，各种安全护栏可能会在上下文变量中存储额外信息。通过output_vars选项可以获取这些变量值。

使用场景：

获取输入/输出护栏的评分结果
监控对话流程中的关键变量
调试复杂的对话逻辑

示例代码：

result = rails.generate(
    messages=messages,
    options={
        "output_vars": ["input_score", "output_score"]
    }
)

返回结果中的output_data字段将包含请求的变量值。

2. LLM参数控制(llm_params)

通过llm_params可以直接传递参数给底层LLM调用，实现生成过程的微调。

常用参数：

temperature: 控制生成结果的随机性
max_tokens: 限制生成的最大token数量
top_p: 核采样参数

注意事项：

支持的参数取决于底层LLM引擎
参数会直接透传给LLM，不做额外处理

示例：

rails.generate(
    messages=messages,
    options={
        "llm_params": {"temperature": 0.3, "max_tokens": 100}
    }
)

3. 详细日志记录(log)

调试复杂对话系统时，log选项提供了四种维度的日志信息：

activated_rails: 已触发的安全护栏详情
llm_calls: 所有LLM调用的详细信息
internal_events: 内部生成的事件序列
colang_history: Colang格式的对话历史

调试技巧：

result = rails.generate(
    messages=messages,
    options={
        "log": {
            "activated_rails": True,
            "llm_calls": True
        }
    }
)
result.log.print_summary()  # 打印简洁版日志

日志摘要会显示关键性能指标，如处理时间分布、token使用情况等。

安全护栏的灵活控制

NeMo Guardrails支持按需启用/禁用不同类型的安全护栏：

1. 护栏类型分类

input: 输入内容安全检查
dialog: 对话流程控制
retrieval: 检索增强生成控制
output: 输出内容安全检查

2. 典型使用模式

仅检查用户输入：

rails.generate(
    messages=[{"role": "user", "content": "用户输入"}],
    options={"rails": ["input"]}
)

检查输入和输出：

rails.generate(
    messages=[
        {"role": "user", "content": "输入"},
        {"role": "assistant", "content": "待检查输出"}
    ],
    options={"rails": ["input", "output"]}
)

仅检查输出：

rails.generate(
    messages=[
        {"role": "user", "content": ""},  # 空输入
        {"role": "assistant", "content": "待检查输出"}
    ],
    options={"rails": ["output"]}
)