zkLoRA: Fine-Tuning Large Language Models with Verifiable Security via Zero-Knowledge Proofs

zkLoRA论文总结与关键部分翻译

一、论文主要内容总结

zkLoRA是首个将低秩适应（LoRA）微调与零知识证明（ZKPs）结合的框架，旨在解决大型语言模型（LLMs）微调过程中的计算正确性验证与隐私保护问题。论文核心内容围绕以下维度展开：

1. 研究背景与问题

• LLM微调痛点：LLM参数规模庞大（如数十亿参数），传统微调计算成本极高；LoRA虽通过引入低秩矩阵降低参数规模，但在不可信环境（如第三方算力外包、敏感数据微调）中，存在模型参数与训练数据泄露风险，且微调过程正确性缺乏可验证机制。
• 现有技术局限：现有零知识证明框架（如zkML、zkLLM）仅支持LLM推理或小规模模型验证，无法覆盖LoRA微调的全流程（前向传播、反向传播、参数更新），尤其难以处理Transformer架构中的非算术操作（如Softmax、SwiGLU激活函数）。

2. 核心技术方案

zkLoRA通过融合密码学技术与LoRA微调流程，实现“高效微调+可验证安全”的双重目标，关键技术包括：

• 算术操作验证：采用求和检查协议（Sumcheck Protocol）与多线性扩展（MLEs），将矩阵乘法、加法等算术操作转化为多项式运算，通过多项式承诺（如Hyrax方案）确保计算正确性，同时隐藏原始数据。
• 非算术操作验证：提出基于