Building Guardrails for Large Language Models

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量224 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Security and Privacy 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137256493
LLM 日更 同时被 2 个专栏收录
828 篇文章

已下架不支持订阅

LLM Security and Privacy
79 篇文章
订阅专栏
本文关注大型语言模型（LLM）的风险管理，强调护栏技术在过滤LLM输入和输出中的关键作用。文章探讨了现有开源解决方案，如Llama Guard、Nvidia NeMo和Guardrails AI，并指出构建全面护栏的复杂性和挑战。提倡采用系统方法，结合社会技术视角，以多学科团队合作，确保护栏设计的质量和适应性。

本文是LLM系列文章，针对《Building Guardrails for Large Language Models》的翻译。

为大型语言模型构建护栏

摘要

随着大型语言模型（LLM）越来越融入我们的日常生活，识别和减轻其风险至关重要，尤其是当风险可能对人类用户和社会产生深远影响时。护栏过滤LLM的输入或输出，已成为一种核心防护技术。本文深入探讨了当前的开源解决方案（Llama Guard、Nvidia NeMo、Guardrails AI），并讨论了构建更完整解决方案的挑战和道路。根据先前研究的有力证据，我们主张采用系统的方法，在全面考虑各种LLM应用程序的不同背景的基础上，为LLM构建护栏。我们建议通过与多学科团队合作，采用社会技术方法来确定精确的技术要求，探索先进的神经符号实现来满足需求的复杂性，并开发验证和测试来确保最终产品的最高质量。

1 引言

2 现有实现方案

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

A Causal Explainable Guardrails for Large Language Models
c_cpp_csharp的专栏
09-07 343
大型语言模型 （LLM） 在自然语言任务中表现出令人印象深刻的性能，但它们的输出可能会表现出不良属性或偏差。将 LLM 引导至所需属性的现有方法通常假定无偏见的表示，并且仅依赖于转向提示。然而，从预训练中学到的表示可能会引入影响转向过程的语义偏差，从而导致次优结果。我们提出了 LLMGuardrail，这是一个新颖的框架，它结合了因果分析和对抗性学习，以在 LLM 中获得无偏的转向表示。LLMGuardrail 系统地识别并阻止了偏见的混杂效应，从而能够提取无偏的转向表示。
大型语言模型用例和应用 Large Language Models Use Cases and Applications
AI天才研究院
06-09 1万+
在这一点上，许多人都听说过一些最值得注意的 LLM 和 LLM 支持的应用程序，例如 ChatGPT 和 DALL-E（它通过“带有聊天对话框的计算机油画”生成了这篇文章的标题图像屏幕提示）。其中一些是开源的，而另一些是闭源的，一些是您必须下载并捆绑到您的应用程序中的软件工件，而另一些则是通过 API 使用的服务。我们将看到熟悉的炒作周期的一个版本，例如这份关于 AI 的 2022 年报告，随着 LLM 领域的发展而上演。这些较低的成本将有助于加快 LLM 生态系统的发展，最重要的是将降低最终用户的成本。
大型语言模型用例和应用程序 Large Language Models Use Cases and Applications
AI天才研究院
06-28 4298
LLM是一种软件，它非常理解语言，并利用这种理解来采取某种行动。LLM 提供的最常见操作是生成内容、查找信息、交谈或帮助组织数据。这篇文章的重点是人类语言。但重要的是要注意，其他领域也有语言，因此也受益于LLM。一个常见的例子是基因组学，其语言是DNA。为了使LLM对某些特定任务有用，应用程序将接受来自用户的一个或多个提示，然后将其作为LLM的输入提供。这些提示通常是问题、说明、描述或其他一些文本序列。
A Survey on Large Language Model based Autonomous Agents
cdxxsq的博客
04-05 3484
自主代理一直是学术界和工业界的研究重点。以前的研究通常集中在训练在孤立环境中具有有限知识的代理，这与人类学习过程相差甚远，使得代理难以实现类似人类的决策。最近，通过获取大量的网络知识，大型语言模型（LLMs）已经显示出人类水平智能的潜力，导致了对基于LLM的自主代理的研究激增。在本文中，我们提供了这些研究的全面调查，从整体的角度系统回顾了基于LLM的自主代理。我们首先讨论了基于LLM的自主代理的构建，提出了一个统一的框架，涵盖了大部分以前的工作。
LLMs：《PaLM: Scaling Language Modeling with Pathways》翻译与解读
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-27 3万+
​ LLMs：《PaLM: Scaling Language Modeling with Pathways》翻译与解读 目录 《PaLM: Scaling Language Modeling with Pathways》翻译与解读 Abstract 1、Introduction介绍 2、Model Architecture模型架构 3、Training Dataset训练数据集 4、Training Infrastructure训练基础设施 5、Trai
Build responsible AI applications with Guardrails for Amazon Bedrock
just2gooo的博客
12-06 370
Thanks.Right?
LLM 工程师工具箱：120+大模型库全攻略！
Datawhale
04-03 294
这个由 KalyanKS-NLP 创建的仓库，精心整理了超过 120 个 LLM 相关的库，并按照类别进行了分类。无论是训练、推理、应用开发，还是数据提取、安全评估，你都能在这里找到对应的工具。：Retrieval-Augmented Generation（检索增强生成）相关的库，提升模型的知识检索能力。在大语言模型（LLM）迅速发展的今天，开发者们面临着海量的资源和工具选择。：专注于 LLM 训练和微调的工具，帮助你更快、更高效地优化模型。：推理加速和优化工具，让模型运行更流畅。Datawhale推荐。
Conceptual Challenges for Interpretable Machine Learning
weixin_42786150的博客
03-01 1668
Conceptual Challenges for Interpretable Machine Learning David S. Watson1 'Department of Statistical Science, University College London, London, UK Email for correspondence: david.watson@ucl.ac.uk §0 Abstract As machine learning has gradually entere..
【中英文阅读】Anthropic：如何高效构建Agent？从简单到复杂带你体会Agent应用架构的真谛
AI天才研究院
12-24 462
workflows and agents"代理"可以有多种定义方式。一些客户将代理定义为在长时间内独立运行的完全自主系统使用各种工具来完成复杂任务。其他人则用这个术语来描述遵循预定义工作流程的更具体实现。Workflows工作流是一套系统，其中LLMs和工具通过预定义的代码路径进行编排。Agents代理，另一方面，是系统，其中LLMs 动态地指导它们自己的流程和工具使用，保持对完成任务方式的控制。以下，我们将详细探讨这两种代理系统的类型。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 212
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 333
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 545
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 202
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1765
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 483
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 227
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 690
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 48
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1048
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
Guardrails如何使用
07-14
<think>我们参考了用户提供的引用内容，特别是引用[1]到[5]，这些引用主要介绍了Guardrails的概念、功能以及项目结构。用户当前的问题是“我想了解Guardrails的使用方法 请问如何使用Guardrails”，因此我们将重点介绍Guardrails的使用方法。 根据引用[1]和[2]，Guardrails是一种安全和隐私保护功能，用于引导基础模型（如大型语言模型）与用户之间的互动。它通过预建的验证器来执行输入/输出防护，可以识别风险并拦截不合法或不合规的数据。Guardrails可以定制化，以符合企业政策、内容过滤技术和隐私保护措施。 引用[3][4][5]则提供了Guardrails项目的具体结构和使用方法，包括项目目录结构、启动文件以及依赖管理。 因此，我们可以将回答分为以下几个部分： 1. Guardrails的基本概念和功能（简要回顾，因为用户之前已经了解过） 2. 安装Guardrails 3. 使用Guardrails的基本步骤（包括如何定义验证器、创建Guard、应用到模型交互等） 4. 示例代码 5. 实际应用场景举例（如金融、医疗领域） 6. 生成相关问题 注意：由于引用中提到了Guardrails项目是一个开源项目，我们主要参考引用[3][4][5]中的项目结构来介绍如何使用，但具体使用细节可能还需要结合官方文档。由于引用中没有给出具体的代码示例，我们只能根据描述来编写一个基本的使用示例。 另外，用户之前的问题中我们区分了“护栏”和“模型”，这里我们直接使用Guardrails（护栏）来指代该技术。 下面开始构建回答：</think>### Guardrails 使用方法详解 Guardrails 是一种用于约束大型语言模型（LLM）输入/输出的安全框架，通过预建验证器确保数据合规性。以下是具体使用步骤（以开源项目 `guardrails-ai` 为例）： --- #### 1. **安装与初始化** ```bash # 安装 Python 包 pip install guardrails-ai # 初始化 Guardrails 对象 from guardrails import Guard guard = Guard() ``` --- #### 2. **定义验证规则** 通过 `validators` 模块设置输入/输出约束： ```python from guardrails.validators import ( ValidLength, TwoWords, OneLine, ValidPhoneNumber ) # 输入防护：限制用户输入格式 guard.rail( prompt="请输入姓名（格式：名字 姓氏）", validators=[ ValidLength(min=3, max=30), # 长度限制 TwoWords(on_fail="reask") # 必须为两个单词 ] ) # 输出防护：约束模型返回结果 guard.rail( output=[ OneLine(), # 单行输出 ValidPhoneNumber() # 验证电话号码格式 ], on_fail="fix" # 格式错误时自动修正 ) ``` --- #### 3. **集成到 LLM 工作流** ```python import openai # 防护层包裹模型调用 with guard: response = openai.Completion.create( model="gpt-3.5-turbo", prompt="生成客户联系方式：" ) # Guardrails 自动验证输出 print(guard.parse(response.choices[0].text)) ``` --- #### 4. **高级功能示例 **(1) **结构化数据生成**（引用[2]） ```python # 强制输出 JSON 格式 guard.rail( output_schema={ "phone": "string:phone-number", "email": "string:email" }, on_fail="filter" # 过滤非法字段 ) ``` **(2) **行业定制规则**（引用[1][2]） ```python # 医疗场景：屏蔽敏感词 medical_guard = Guard( validators=[Blocklist(["HIV", "癌症"], on_fail="mask")] ) # 金融场景：数字格式验证 finance_guard = Guard( validators=[RegexMatch(r"^\d+\.\d{2}$")] # 强制两位小数 ) ``` --- #### 5. **调试与监控** - 查看验证日志： ```python guard.history.last.logs ``` - 测试规则覆盖率： ```bash pytest tests/validators/test_phone.py # 引用[4] ``` --- ### 典型应用场景 | 领域 | 防护目标 | 实现方式 | |------------|-----------------------------------|------------------------------| | **金融** | 交易金额格式合规 | 正则验证 `^\d+\.\d{2}$` [^2] | | **医疗** | 患者隐私信息过滤 | 关键词屏蔽 + 掩码替换 [^1] | | **客服** | 防止生成攻击性回复 | 有害内容检测模型 [^1] | | **数据采集**| 结构化输出（JSON/XML） | 模式强制校验 [^2] | > 提示：详细配置参考项目目录 `guardrails/validators.py`（引用[4]） ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值