5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。

本文是一些碎碎念, 希望对正在迈向 算法工程师道路的你, 有所裨益

focal loss 的简单理解

本文提出了一种新的异常检测方法，名为“反向蒸馏”。该方法利用预训练的教师模型提取图像特征，并将其蒸馏到学生解码器中。学生解码器的目标是重建教师模型的多尺度特征，但由于学生模型只学习正常模式，因此无法重建异常特征，从而实现异常检测。主要贡献反向蒸馏框架： 教师模型为编码器，学生模型为解码器，打破传统蒸馏模型的结构限制，提高模型对异常的区分能力。一类别瓶颈嵌入模块： 将教师模型的高维特征压缩到低维空间，有效抑制异常特征的传播，增强异常检测效果。实验结果。

few-shot learning

在Softmax中，温度（temperature）的作用是调整模型的输出分布的“平热程度”或“软硬程度”。因此，通过调整温度参数，可以在Softmax中平衡模型的“软硬”输出，从而影响模型的鲁棒性和泛化能力。

在深度学习中，反向传播（Backpropagation）是训练神经网络的关键步骤，其中需要保留前向传播时的中间结果以计算梯度。Gradient checkpointing通过在前向传播过程中将某些中间结果临时存储在内存中，而不是一直保留，从而显著减少了内存需求。具体而言，它通过在前向传播期间记录计算图的某些部分，然后在反向传播时重新计算这些部分，从而避免了在反向传播过程中保留所有中间结果。这种技术的主要优势是能够在有限的内存条件下训练更大的模型或处理更长的序列，从而提高了模型的训练效率。

什么是微调，什么是泛化

排列k2k^2k2所有的值把k2k^2k2中，中间大小的那个值赋给当前的像素你看效果，很好的吧噪声去掉了吧，但你仔细看还是可以从背景看到噪声kkk越大的时候，除掉的噪声越多，但硬币也越模糊了。

两个特点：1. 线性的 2. 具有平移不变性同时满足线性和平移不变性的系统，就是线性平移不变性系统这个方程是线性的，平移不变的。

基于缩放的剪枝通常与剪枝阈值结合使用，权重的缩放因子与阈值比较，如果权重的缩放因子低于阈值，则相应的权重将被剪枝。“Second-Order-based Pruning”（基于二阶导数的剪枝）是一种神经网络剪枝技术，它利用神经网络中参数的二阶导数信息来确定哪些参数应该被剪枝。“Magnitude-based pruning”（基于权重大小的剪枝）是一种常见的神经网络剪枝技术，它基于神经网络中的参数（通常是权重）的大小来确定哪些参数应该被剪枝，以减小模型的大小和复杂性。通常，参数的零值比例与阈值进行比较。

（乘法 + 加法）= 每一层输出的元素个数 * 每一个元素的运算量 = (c_out * H * W) * (c_in * K * K) = (64 * 56 * 56) * (3 * 11 * 11) = 72855552。权重的形状 = c_out * (c_in * k * k) = 64 * 3 * 11 * 11。= C * H * W = 64 * 56 * 56 = 200704 个元素。KB = 输出元素的个数 * 每个元素的大小 / 1024。偏差 = c_out = 64。

瞬间理解交叉熵损失函数

目标检测(Object Detection): 你需要知道的一些概念，mAP, NMS, FPN, 一阶段检测器

文章目录Video ClassificationEarly Fusion, Late Fusion, 3D CNN,Recognizing Actions from Motion 从动作中识别行为接下来介绍新技术回顾一下：非常多的video工作Video ClassificationEarly Fusion, Late Fusion, 3D CNN,Recognizing Actions from Motion 从动作中识别行为Measuring Motion: Optical FlowSe

轻量化模型 装备 的卷积

TensorRT可以帮助你把训练好的AI模型，部署到边端Nvidia的设备，并实现对模型的量化与加速。TensorRT基于CUDA和cudnnCUDA看作是一个工作台，上面配有很多工具，如锤子、螺丝刀等。cuDNN是基于CUDA的深度学习GPU加速库，它就是个锤子。CUDA这个工作台买来的时候，并没有送锤子。想要在CUDA上运行深度神经网络，就要安装cuDNN，这样才能使GPU进行深度神经网络的工作，工作速度相较CPU快很多。

把数据拉回标准正态分布，因为神经网络的Block大部分都是矩阵运算，一个向量经过矩阵运算后值会越来越大，为了网络的稳定性，我们需要及时把值拉回正态分布。当testing的时候batchnorm就变成了一个线性运算（linear operator），可以跟前一层的全连接层或者卷积层融合起来计算。具体来说，当一个层的输入分布发生变化时，该层需要不断地适应新的输入分布，这会使得网络的训练过程变得不稳定，同时也会影响收敛速度和性能。我们的均值和方差是在Minibatch的基础上做的。