weixin_63239182的博客

原创 LLaMA Factory 参数说明

up_proj生产的“原始素材”会和gate_proj生产的“开关信号”逐元素相乘。down_proj将前面筛选出的高质量、高维度的特征，重新组合和压缩成一个与输入同维度的、但信息含量更丰富的“成品”。