On The Robustness of Large Language Model IP Protection Methods Against Model Merging

本文是LLM系列文章，针对《Have You Merged My Model? On The Robustness of Large Language Model IP Protection Methods Against Model Merging》的翻译。

摘要

模型合并是一种有前景的轻量级模型授权技术，它不依赖于昂贵的计算设备（如GPU），也不需要收集特定的训练数据。相反，它涉及编辑不同的上游模型参数，以吸收其下游任务能力。然而，未经认证的模型合并可能会侵犯原始上游模型的知识产权。本文首次研究了模型合并场景中IP保护方法的鲁棒性。我们研究了两种最先进的IP保护技术：量化水印和指令指纹，以及各种先进的模型合并技术，如任务算法、TIES-merging等。实验结果表明，当前的大语言模型（LLM）水印技术无法在合并的模型中生存，而模型指纹技术可以。我们的研究旨在强调，模型合并应该是模型知识产权保护技术稳健性评估中不可或缺的考虑因素，从而促进开源LLM社区的健康发展。

1 引言

2 前言

3 评估

4 结论

模型合并技术具有广阔的应用前景，但也对模型知识产权侵权构成威胁。本文在模型合并的背景下，对大型语言模型的IP保护技术进行了首次鲁棒性度量。我们讨论了两种模型版权保护技术：量化水印和指令指纹。此外，我们还考虑了各种先进的模型合并技术，如任务算法、TIES-merging等。我们将知识产权保护技术应用于上游专家LLM之一，并调查模型所有者是否仍然可以在合并的模型中维护版权声明。实验结果表明，模型合并技术可以有效地破坏水印信息，但模型指纹仍然可以保留。我们将更复杂的模型合并场景（例如，涉及更多模型进行合并）和更先进的合并算法作为未来的工作。我们主张将模型合并视为LLM知识产权保护稳健性评估的一个重要因素，这可以更好地促进开源LL