2025_NIPS_Model Provenance Testing for Large Language Models

文章总结与翻译

一、主要内容

该研究针对大型语言模型（LLMs）定制化带来的版权保护、漏洞追踪等问题，提出了一套模型来源测试框架，核心目标是在仅拥有模型黑盒访问权限（如API调用）的情况下，判断目标模型是否由某基础模型通过微调等定制化手段衍生而来。

核心思路

通过关键实证发现：微调等衍生手段不会彻底改变原始模型的输出分布，衍生模型与父模型的输出相似度显著高于与无关模型的相似度。基于这一特征，框架采用统计假设检验方法，以无关模型（控制组）为基准，通过对比目标模型与候选父模型、控制组模型的输出相似度，实现来源判定。

技术方案

1. 黑盒采样与相似度计算：从随机提示词空间采样，对比模型对相同提示词的首个输出token一致性，计算相似度比例。
2. 多假设检验与误差控制：使用Z检验验证相似度显著性，通过Holm-Bonferroni方法控制家族式错误率（FWER），确保假阳性率不超过用户设定阈值。
3. 查询复杂度优化：
   • 在线查询优化：基于熵的拒绝采样策略，筛选具有强区分度的提示词，减少4-6倍查询量且不损失精度；
   • 离线查询优化：采用多臂老虎机的最优臂识别（BAI）方法，减少10%-30%对父模型/控制组模型的查询，但会牺牲部分召回率。