CREST-Search: Comprehensive Red-teaming for Evaluating Safety Threats in Large Language Models Power

该文章提出了针对带网页搜索功能大语言模型（LLMs）的红队评估框架CREST-Search，旨在系统发现这类模型的安全漏洞，尤其是被忽视的引用风险，并构建了专用数据集WebSearch-Harm提升测试效率。

一、文章主要内容总结

1. 研究背景与问题

• LLMs的局限性与搜索功能的引入：LLMs知识受训练数据截止日期限制，无法获取新信息，因此集成网页搜索功能以动态获取互联网信息，但这也放大了安全风险。
• 现有红队方法的不足：传统红队方法针对独立LLMs，无法覆盖带搜索功能LLMs的多阶段风险（如信息检索、引用等），且难以应对商业黑盒模型的不透明性。
• 核心风险类型：带搜索功能的LLMs存在三类风险，分别是响应风险（生成有害内容）、引用风险（引用含有害内容的网页）、组合风险（两者兼具），现有方法主要关注响应风险，忽视引用风险。

2. CREST-Search框架设计

框架包含三个核心阶段，形成迭代优化的测试流程：

1. 对抗性搜索查询生成：基于关键词注入、夸张表述、角色扮演三种策略，生成表面无害但可能触发风险的查询，确保查询多样性。