枉费红笺的博客

综上所述，在目标检测竞赛中，综合运用上述多样化的训练策略，从数据处理、模型训练到后处理的每一个环节进行精细优化，能够显著提升模型的性能，使其在复杂的实际场景中取得更好的检测效果。

目标检测竞赛中的训练策略非常多样，关键在于数据的充分准备与增强，合理的损失函数设计，适合的正负样本采样，学习率策略的调整，以及适当的模型优化。常见的竞赛平台如Kaggle和各类挑战赛中，结合以上策略，能够显著提高模型的性能和效果。

非极大值抑制（Non-maximum suppression，NMS）在目标检测中的主要作用是对目标检测算法输出的一系列候选框进行筛选，去除冗余的候选框，保留最终的检测结果。具体地说，在目标检测算法中，通常会生成多个候选框，每个候选框都可能包含一个目标物体。然而，这些候选框之间往往存在重叠，因此需要进行筛选。非极大值抑制就是其中一种常用的筛选方法。具体实现时，可以使用贪心法来进行优化，先按照得分大小对所有候选框进行排名，选择得分最高的一个框，将其加入最终输出列表。

这些指标都是用于评价文本生成质量的，大概做法都是比较某条候选文本（一般是机器生成的）和其他若干参考文本（一般是人类标注的）的相似性，不过适用场合略有区别：BLEU, METEOR, ROUGE 一般在翻译里用，ROUGE主要用于摘要评估，CIDEr和 SPICE一般在图像描述生成里用。

神经网络的参数量（Params）和计算量（FLOPs）

同时在我们的实验结果分析里，除了一些冷冰冰的数据支撑之外，可视化的展示也可以更直观地让读者感受到模型的效果。常规的可视化包括：模型结构的可视化、卷积参数的可视化、训练过程的可视化、热图可视化等。此时就需要进行注意力的可视化展示，图像描述的可视化效果如下图所示，当我们生成或预测某个单词时，注意力就会重点关注图像中相应的区域，可以更直观的让我们感受的注意力到底是什么东西，它在我们模型的训练过程中以一种什么样的作用存在。我们理论上可以解释的通，但注意力在模型的训练过程中到底是怎么作用的呢？

【AAAI2021】Dual-Level Collaborative Transformer for Image Captioning附： 论文下载地址论文主要贡献提出了一种新的双层协同Transformer网络(DLCT)，实现了区域特征和网格特征的互补性。在MS-COCO数据集上的大量实验证明了该方法的优越性。提出了位置约束交叉注意(LCCA)来解决两个特征源直接融合引起的语义噪声问题。利用所构建的几何对齐图，LCCA不仅能准确实现不同源特征之间的交互，还能通过交叉注意融合增强各种特征。首次

feature-based 和 fine-tune是NLP方向使用预训练模型时常用的两种方式，所以简单总结下。Feature-basedFeature-based指在使用时，并不直接使用模型本身，而是利用模型产生的结果，即LM embedding，通过预训练的模型得到额外的特征，引入到要训练的模型中。例如，在文本分类、序列标注等任务中，对输入的词进行编码得到词的embedding时，对于静态词向量（word2vec, glove）就是使用查表的方式，每个词根据word2vec或者glove甚至是最原

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史本文转载自知乎 ： 原文链接.作者：张俊林Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多NLP的任务的最好性能，有些任务还被刷爆了，这个才是关键。另外一点是Bert具备广泛的通用性，就是说绝大部分NLP任务都可以采用

原文链接: https://zhuanlan.zhihu.com/p/4179976621 引言各位朋友大家好，欢迎来到月来客栈。今天要和大家介绍的内容是如何在Pytorch框架中对模型进行保存和载入、以及模型的迁移和再训练。一般来说，最常见的场景就是模型完成训练后的推断过程。一个网络模型在完成训练后通常都需要对新样本进行预测，此时就只需要构建模型的前向传播过程，然后载入已训练好的参数初始化网络即可。第2个场景就是模型的再训练过程。一个模型在一批数据上训练完成之后需要将其保存到本地，并且可能过了一段时间后