LLM4MEA: Data-free Model Extraction Attacks on Sequential Recommenders via Large Language Models

文章主要内容和创新点

主要内容

本文聚焦于序列推荐系统面临的模型提取攻击（Model Extraction Attacks, MEAs）问题。模型提取攻击通过收集推荐系统的响应来复制其功能，可能导致未授权部署并引发隐私和安全风险。现有数据无关的攻击方法因数据选择采用随机采样，导致合成数据与真实数据分布不匹配，攻击效果有限。

为此，本文提出了LLM4MEA——一种利用大型语言模型（LLMs）驱动的代理生成数据的新型模型提取方法。该方法通过LLM驱动的代理与目标推荐系统交互生成训练数据：在每次交互中，代理分析历史交互以理解用户行为，并从推荐结果中选择符合一致偏好的物品来扩展交互历史，将其作为模型提取攻击的训练数据。

为提升性能，LLM4MEA还设计了记忆压缩模块（解决LLM处理长序列的效率和信息利用问题）、偏好稳定模块（防止代理偏好漂移），以及去偏技术（缓解自回归框架的暴露偏差和LLM代理的位置偏差）。实验表明，LLM4MEA在数据质量和攻击性能上显著优于现有方法，同时本文还分析了目标系统超参数对攻击的影响，并提出了一种简单的防御策略。

创新点

1. 识别了现有模型提取攻击中数据生成的模式不匹配问题，探索了LLM在模拟真实用户-推荐系统交互以生成高质量数据中的潜力。
2. 提出了包含记忆压缩和偏好稳定的LLM数据生成框架，并结合去偏技术（缓解暴露偏差和位置偏差），有效提升了合成数据质量。
3. 大量实验证明，LLM4MEA在数据质量（与真实数据分布的一致性）和攻击性能（代理模型对目标模型的模仿效果）上显著优于现有方法（如随机生成、SR-DFM