LoRA微调的原理
矩阵的秩
矩阵的秩代表一个矩阵中所含信息的大小。
- 行秩：矩阵中互相不重复、不依赖（即线性无关）的行的最大数目。
- 列秩：矩阵中互相不重复、不依赖的列的最大数目。
事实上，行秩和列秩总是相等的，因此我们通常直接称之为“矩阵的秩”。
Transformer中微调哪些参数：
LoRA的改进版本
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
