- 博客(2)
- 收藏
- 关注
RSS订阅原创 归一化均方误差(NMSE)
归一化均方误差的值越小，说明预测值与实际值之间的差距越小，模型的性能越好。NMSE的一个优点是它不受量纲的影响，因此适用于不同量级的数据之间的比较。此外，当分母使用实际值的方差时，NMSE实际上反映了预测误差相对于数据本身变异性的大小。归一化均方误差（Normalized Mean Square Error, NMSE）是衡量预测值和实际值之间差异的一种方法，通常用于评估模型的性能。NMSE通过对均方误差（MSE）进行归一化处理，使得不同规模数据集之间的误差可以相互比较。
2024-12-26 15:47:51
7565
原创 知识蒸馏（KD）中的FKL和RKL
正如你提到的，在实际应用中，特别是对于大型语言模型（LLMs）的知识蒸馏，学生和教师模型的输出通常是经过softmax层处理后的离散分布，并不符合理想的高斯分布假设。最后，最新的研究提出了从更基础的角度重新审视KL散度的作用，例如考虑softmax之前的变量Z来进行分析，或者探索结合FKL和RKL的方法，甚至是引入其他类型的散度度量。: 这种方式可能会让模型在某些特定任务中表现得更加锐利，因为它专注于最重要的特征，但也有可能忽略掉一些细微但重要的信息，特别是在教师模型具有复杂多模态结构的情况下。
2024-12-24 20:50:39
887
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人