胖胖大海的博客

如何识别未在训练集中没有出现过的类别

多分类模型如何将LabelSmoothing与MixUp联合使用？

在知乎上有这样一个问题：acc很高，但预测正确的样本占比又很低，怎么回事？ - 知乎关于这个问题，在这个问题的回答中，有许多大佬从数据的分布、模型的结构、数据集的划分，以及验证指标等层面进行了解答。在这里按照我的理解，简单描述一下这个问题：模型训练正常，模型测试效果很差，甚至在训练集上的测试效果都很差。简单分析一下大概有以下几个方面的原因可以排查：1、检查模型训练和模型测试的数据处理pipeline是否一致，比如训练时做了Normalize...

ResNeXt在网络架构设计层面，常见的几种提升网络性能的方法：网络的宽度width：每层卷积的输出通道数 网络的深度depth：网络的层数 网络的分辨率resolution：输入图像的分辨率大小 网络的增长率growth：随着层数的增加，每层卷积输出通道数的增长比例 网络的特征复用：如DenseNet可以使用更浅的网络，更少的参数，提升特征复用，达到与深度网络相当的性能 高效特征融合：InceptionNet的split-transforms-merge模式，将输入分别使用不同的转换分支

核心思想：本论文的核心关注点在于卷积神经网络中的1x1卷积模块，作者指出在XCeption和ResNetXt等网络模型中，虽然采用了深度可分离卷积来降低参数量和计算量，但是这样又引入了大量的1x1标准卷积操作，导致的结果就是网络模型中存在大量的1x1卷积操作，1x1卷积的参数量和计算量占据了绝对的大头。下图是MobileNetV1网络使用深度可分离卷积之后的参数量和计算量统计，1x1卷积无论在参数量和计算量上都占据绝对大头：核心方法：所以本论文将1x1卷积作为重点关照对象，在深度可分离卷

标准残差块：1、使用1x1卷积减少通道数2、使用NxN卷积提取特征3、使用1x1卷积提升通道数，提升后与输入通道数相等4、将残差块的输入与输出相加，形成short-cut连接备注：标准残差块的通道数两头大，中间小反向残差块（inverted residual）：1、使用1x1卷积提升通道数2、使用深度可分离卷积提取特征3、使用1x1卷积减少通道数，减少后与输入通道数相等4、将残差块的输入与输出相加，形成short-cut连接备注：翻转残差块的通道数两头小，中间

《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》在MobileNet之前，提升模型推理效率常用的方法是模型压缩（量化、剪枝等）和知识蒸馏（Teacher-Student网络）。核心概念：深度可分离卷积（deep-wise separable convolution）:深度可分离卷积将标准卷积操作分解为一个深度卷积（deepwise convolution）和一个1x1的卷积