On The Robustness of Large Language Model IP Protection Methods Against Model Merging

本文是LLM系列文章，针对《Have You Merged My Model? On The Robustness of Large Language Model IP Protection Methods Against Model Merging》的翻译。

摘要

模型合并是一种有前景的轻量级模型授权技术，它不依赖于昂贵的计算设备（如GPU），也不需要收集特定的训练数据。相反，它涉及编辑不同的上游模型参数，以吸收其下游任务能力。然而，未经认证的模型合并可能会侵犯原始上游模型的知识产权。本文首次研究了模型合并场景中IP保护方法的鲁棒性。我们研究了两种最先进的IP保护技术：量化水印和指令指纹，以及各种先进的模型合并技术，如任务算法、TIES-merging等。实验结果表明，当前的大语言模型（LLM）水印技术无法在合并的模型中生存，而模型指纹技术可以。我们的研究旨在强调，模型合并应该是模型知识产权保护技术稳健性评估中不可或缺的考虑因素，从而促进开源LLM社区的健康发展。

1 引言

2 前言

3 评估

4 结论

模型合并技术具有广阔的应用前景，但也对模型知识产权侵权构成威胁。本文在模型合并的背景下