SEAR: A Multimodal Dataset for Analyzing AR-LLM-Driven Social Engineering Behaviors

文章主要内容总结

SEAR（Social Engineering via AR-LLM）是一个多模态数据集，旨在研究增强现实（AR）与多模态大语言模型（LLM）驱动的社会工程（SE）攻击威胁。该数据集包含60名参与者在模拟会议、课堂等场景中的180段标注对话，整合了AR捕捉的视听线索（如面部表情、语调）、环境上下文、社交媒体资料，以及信任评分、易感性评估等主观指标。

核心发现显示，SEAR攻击的合规率极高：93.3%的参与者点击钓鱼链接，85%接听诈骗电话，76.7%在互动后信任度显著提升。数据集支持AR驱动社会工程攻击的检测研究、防御框架设计及多模态对抗操纵机制分析，并通过匿名化和IRB合规性确保伦理使用。其官网为：https://github.com/INSLabCN/SEAR-Dataset。

文章创新点总结

1. 首个多模态AR-LLM社会工程数据集：整合AR视觉/音频数据、LLM生成的对话及主观信任指标，填补单模态研究空白。
2. 五层结构化数据框架：包含对话场景、个人信息、社会档案、互动对话和事后调查，覆盖攻击全流程。
3. 实证验证威胁可行性：通过高合规率和信任劫持效果，证明AR-LLM技术对社会工程攻击的强化作用。
4. 跨学科研究基础：为HCI、网络安全和AI防御提供数据支撑，推动对抗性人机交互与信任校准研究。