虚竹

可以采用以下策略实现轻量级网络：

首先，按照学习难度来区分，训练集可以分为困难样本(hard sample) 和容易样本(easy sample)。首先，在backbone中，深度且高层的特征(high-level features)具有更多的语义信息。特别地，hard sample更有价值，能更有效的提高网络的性能，但是随机采样的方式，使得采取的sample，大多是easy sample。如果是不平衡的， easy sample的小梯度就会占据主导，淹没hard sample的大梯度，从而限制了进一步调优。（2）特征水平的不平衡。

其中最著名的例子是 OpenAI 的 GPT 系列模型（例如 GPT-3 和 GPT-4），以及谷歌的 BERT 模型。比如你要研究一个新的模型，你是在前人的模型基础上新增加了一些组件，别人也基本都是在这个模型上进行修改，那这个模型就叫做baseline model——基准模型。听名字就能听出来，就是你自己模型的一个基准，一个基本的框架，模型再复杂，最根本的框架是差不多的。baseline一词应该指的是对照组，基准线，就是你这个实验有提升，那么你的提升是对比于什么的提升，被对比的就是baseline。

在Backbone网络中，有许多创新结构，如YOLOv3中的Darknet-53、YOLOv4中的Modified CSP、YOLOv5和YOLOX中的Modified CSP v5，以及YOLOv7中的Elan、VoVNet、CSPVoVNet。尽管解耦Head可以有效地解决回归和分类任务之间的冲突，但作者通过研究发现，解耦Head的结构应该与损失函数的计算逻辑一致，才能获得最佳性能。Neck网络充当Backbone网络和Head网络之间的桥梁，聚合和细化Backbone网络提取的特征。

Squeeze-and-Excitation Network introduces a building block for CNNs to improve channel interdependencies at almost no computational cost.

channelinput​channeloutput​filtersizeInput−channel10Output−channel20Filter−size7可以得到Parameters7×7×101×209820。

简介：本文力求简洁的介绍tensorflow-gpu版本如何安装。

使用于正负样本失衡，如果负样本占比过大，100个样本中99个是负样本，那么模型预测全部都是负样本也会有99%得正确率，但是显然模型并没有学习到合适得参数。适用于 难/易分样本失衡，如果易分样本的数量远远多于难分样本，则所有样本的损失可能会被大量易分样本的损失主导，导致难分样本无法得到充分学习。学习的负担被分散到了多个层级的特征图上，到底一个特征图负责哪些尺度的目标物，这是一个需要研究的问题。对于数据集X中的每一个x称为一个样本sample。输出是在0，1之间的一个实数，表示了输入样本是类别1 的概率。

深度学习的模型，一般是用别人的网络作为主干特征提取网络backbone，来提取特征，然后再加入自己的改进的小部件component，一个小创新点novel idea。只有对于公司而言，做的产品才需要证明比市场上的所有其他产品更好。而有些论文中使用without bells and whistles（没有花里胡哨的东西）这样的论述，是表明，他所提出的这个改进方法，即使你不使用神经网络的调参技巧（tricks)，也可以提升性能，也就是说，他的改进是对本质的东西进行改进，并不是偶然。

用Navigator下载；用镜像源下载安装包，再在cmd中用pip install [package]的语句进行下载直接在cmd中用pip install [package]的语句进行下载。结果：前两种方法都失败了。第三种方法没有下载到anaconda我的虚拟环境里，而是下载到了我安装的python3.11里面，这样的话，我在anaconda虚拟环境里还是不能使用。今天在anaconda的网站上发现竟然有下载的方法。程序很简单。