BIT_Legend的博客

位置编码 | PositionEncoding | Sinusoidal 位置编码 | RoPE 位置编码 | ALiBi 位置编码

在评价深度学习模型的大小和计算量时，经常使用的参数有：parameters, FLOPs, MACs, MAdds。除此以外，我们还经常见到FLOPS, GFLOPS, TFLOPS，这三个参数其实并非用来评价模型的计算量，而是用来评价计算机硬件的计算能力。

mAP的计算原理mAP的具体计算原理可以参看【1】，这里针对第三部分的代码实现进行了过程解释，也即从代码层面解释了如何计算mAP。计算mAP的过程：总过程：首先确定iou阈值，然后计算每一类的ap数值，最后计算所有类ap的均值，可得到在该iou阈值下的mAP，某类的ap值反映的是该类平衡精确率和召回率的能力。大过程，计算ap的过程：首先得到某类的PR曲线，然后计算PR曲线下的面积就是ap值，关于ap值的计算分voc07和voc10两种办法，总面积受到最大recall的影响，最大recall肯

1. 深度学习模型从模型定义到模型部署2. 什么是模型量化3. 什么是"后量化"4. 什么是感知量化5. 什么是混合精度训练参考

1. BN层的概念，其与LN、IN、GN的异同BN层于2015年由谷歌提出，可以有效的提升网络训练效率。BN层可以加快收敛速度，可以缓解梯度消失，具有一定的正则化作用。BN层本质上使损失函数变得平滑，所以收敛速度变快且不易落入局部最优值【1】【2】。BN层针对全链接网络结构是计算前面输出层在一个batch内每一个节点的均值和方差，然后针对每一个节点分别减去对应均值和除以对应方差，然后针对每一个节点再进行一次线性变换(即先乘以一个参数再加上一个参数)，所以每一个节点具有4个参数；针对CNN网络结构，为了缩