ly_twt的博客

类用于实现 LoRA 适配器。self.w_qkv = w_qkv # 原始的 qkv 线性层self.w_a_q = w_a_q # LoRA 适配器的 A 矩阵(query)self.w_b_q = w_b_q # LoRA 适配器的 B 矩阵(query)self.w_a_v = w_a_v # LoRA 适配器的 A 矩阵(value)self.w_b_v = w_b_v # LoRA 适配器的 B 矩阵(value)# 原始 qkv 投影。

一、Bias（偏差）Bias描述的是根据样本拟合出的模型的输出值与真实值之间的差距，就是模型在样本上拟合的好坏。Bias反映了模型本身的精准度。Bias越小，即模型在样本上拟合的越好。但是若要减小Bias，则就要增加模型的复杂度，即增加模型的参数，但这样可能会产生过拟合（overfitting）。过拟合是指模型在样本上能够获得很好的拟合，但是在测试集上却不能很好的拟合数据。过拟合即对应Va...

1、卷积核就相当于数字图像处理中的滤波算子。（什么是卷积）例如：输入图像：由三个矩阵构成——RGB三通道，其中每个元素都是0-255之间的一个整数。卷积核：一个矩阵。输出图像：一个矩阵构成，在深度学习中称作特征图。对于每个颜色通道都有一个特征图。假设输入图像为7×7×3（长×宽×通道数），卷积核大小为3×3×3（长×宽×通道数），那我们就要在图像中取出3×3×3大小的区块。...