qq_41838627的博客

究竟LoRA怎么用到大模型训练上。首先要有几点认识1、 理论上LoRA可以用到不同类型神经网络的权重矩阵，减少可训练的参数量2、 不同的大语言模型基于Transformer的不同改版，Transformer结构主要self attention层（W_q,W_k,W_v,W_o）和MLP层。

四大模块，40个知识点，快速阅览Prefix Tuning 与 Prompt Tuning 技术建议补完Prefix Tuning 与 Prompt Tuning 技术基础，再去回顾P-Tuning及P-Tuning v2技术，能更好理解这四项技术之间的联系与区别。

从五大模块总结P-Tuning及P-Tuning v2 微调技术，近200个小知识点。【技术回顾】、【P-Tuning技术原理】、【P-Tuning与超大规模模型微调关系】、【P-Tuning价值】、【P-Tuning v2】大模型微调技术系列原理：[大模型微调技术——概述](https://blog.youkuaiyun.com/qq_41838627/article/details/132327479)[大模型微调技术——LoRA](https://blog.youkuaiyun.com/qq_41838627/artic