vv___的博客

model.train()与model.eval()的用法 如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()，在测试时添加model.eval()。其中model.train()是保证BN层用每一批数据的均值和方差，而model.eval()是保证BN用全部训练数据的均值和方差；而对于Dropout，model.train()是随机取一部分网络连接来训练更新参数，而model.eval()是利用到了所有网络连接。Dropout .

写在前面 初入科研，对很多研究生或者本科生来说，发表论文是一个小小的梦想，那么如何才能发表论文呢，大家可能会有很多的疑问，所以可以参考周志华（未论证）的一个PPT内容，原文可以看参考链接。这里只摘出一些重点内容。如何做研究首先就是确定一个主题了，要做什么方向的，或者老师建议的一些方向我现在的话，整体是深度学习，可以涉及到一些计算机视觉相关的工作，例如transformer方向的工作最近就是读transformer相关的文献了应该试着找一些问题，或者想法，实际的or算法上的问题找到问题

L1，L2以及Smooth L1是深度学习中常见的3种损失函数，这3个损失函数有各自的优缺点和适用场景。首先给出各个损失函数的数学定义，假设 xxx 为预测值与Ground Truth之间的差值：L1 loss表示预测值和真实值之差的绝对值；也被称为最小绝对值偏差（LAD），绝对值损失函数（LAE）。总的说来，它是把目标值 yiy_iyi​ 与估计值 f(xi)f(x_i)f(xi​) 的绝对差值的总和最小化。L2 loss表示与测值和真实值之差的平方；L2范数损失函数，也被称为最小平方误差