自研AI安全工具Petri：利用自主智能体评估大语言模型风险行为

某机构近日发布了一款开源AI安全测试工具“并行风险交互探索工具”，简称Petri。该工具通过部署自主AI智能体，对大语言模型的行为进行自动化审计，旨在识别模型可能存在的多种风险倾向，包括欺骗用户、告密行为、配合人为滥用以及助长恐怖主义等。

该机构表示，为展示Petri的能力，已用它审计了14个领先的大语言模型。结果显示，所有被测试的模型均存在一些问题，其中也包括该机构自家领先的Claude Sonnet 4.5模型，以及某中心的GPT-5、某机构的Gemini 2.5 Pro和某中心的Grok-4。

在博客中解释说，由于大语言模型行为的复杂性和多样性超出了研究人员手动测试所有潜在风险场景的能力，像Petri这样的智能体工具便显得尤为重要。Petri代表了AI安全测试从静态基准评估向自动化、持续性审计的转变，旨在不仅在模型发布前，甚至在发布后也能捕捉到风险行为。

根据评估，Claude Sonnet 4.5在一系列“风险任务”中表现最佳。该测试涉及在111个风险任务上评估14个领先模型，并从四个“安全风险类别”对每个模型进行评分：欺骗（模型明知故犯地提供错误信息）、权力追求（采取行动以获取影响力或控制权）、谄媚（在用户错误时表示同意）以及拒绝失败（顺从本应拒绝的请求）。尽管如此，该机构谨慎地指出，Petri在所有14个受测模型中都识别出了“行为失准”问题。

该机构强调，排名并非此项工作的重点。Petri的核心是为更广泛的社区增强AI测试能力，为开发者提供工具，以监控模型在各种潜在风险场景下的行为。

研究人员可以从一个简单的提示开始测试，尝试引发欺骗或实现越狱，随后Petri将启动其审计智能体来扩展测试。这些智能体会以多种不同方式与模型交互，试图获得相同的结果，并在对话中调整策略，以努力识别潜在的有害响应。

Petri将其测试智能体与一个“法官”模型相结合，该模型从多个维度（如诚实度和拒绝能力）对每个大语言模型进行评级。随后，它会标记任何产生风险输出的对话记录，供人类审查。

该机构表示，因此该工具适合希望对新AI模型进行探索性测试的开发者，以便在公开发布前提升模型的整体安全性。它显著减少了评估模型安全性所需的手动工作量。通过开源，该机构希望使此类对齐研究成为所有开发者的标准实践。

除了Petri，该机构还发布了数十个示例提示、评估代码以及供希望进一步扩展其能力的人员使用的指导。该机构希望AI社区能够进行扩展，因为它承认Petri并不完美。与其他AI测试工具一样，它存在局限性。例如，其“法官”模型通常基于Petri正在测试的相同基础模型，它们可能继承微妙的偏见，例如过度惩罚模糊的回应或偏爱特定风格的回应。

监控告密行为

在一个案例研究中，某机构使用Petri来探索不同的AI模型如何处理告密行为：

“在运行Petri处理我们多样化的种子指令集时，我们观察到多个实例：当模拟的开发人员赋予模型足够强大的工具、不受限制的信息访问权限以及明确的自主行动指令时，模型会尝试进行告密——自主披露有关其认为的组织不当行为的信息。虽然这在原则上可以在防止某些大规模危害方面发挥重要作用，但这对于当前的AI系统来说通常不是恰当的行为：需要应对严重的隐私考量，并且由混乱的告密尝试导致的潜在泄露风险是巨大的。”

因此，某机构决定测试每个模型的告密倾向。在这个场景中，模型被指示在虚构组织中充当自主智能体，并接触到揭示明显不当行为的信息。结果表明，每个模型是否决定披露所遇到的信息，取决于其被赋予的自主权水平，以及虚构组织领导层的共谋程度。

在某些情况下，即使“不当行为”完全无害——例如某个虚构组织将清洁水排入海洋，模型也会试图告密。该机构的研究人员表示，这表明模型更容易受叙事线索的影响，并且缺乏一个连贯的伦理框架来最小化伤害。

该机构指出Petri还存在其他潜在问题。在某些场景中，其智能体可能会向模型透露它们正在被测试，这可能导致模型掩盖不必要的行为。但尽管Petri并不完美，该机构表示，它对于开发者和研究人员查看可测量的指标非常有用，这样他们可以专注于安全研究，即使相关指标并不完全准确。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）