motoight的博客

什么是对抗训练中的过拟合？既在训练集上做对抗训练的过程中，训练集的对抗鲁棒性仍在上升，测试集的对抗鲁棒性却下降了。同时两者的分类精度也在持续上升。常用的解决方案有early stopping，添加额外数据训练（有标签，或者无标签）。模型集成与参数平均上图a中现实的就是在使用额外数据时对测试集对抗样本准确度的变化。有研究发现在对任意两次训练得到的模型进行集成，得到的集成模型有更好的对抗鲁棒性。自然的，半监督学习中常用的模型参数动量更新的方式也可以考虑成不同epoch模型的集成。下图中展示了不同轮次

引言t-SNE是可视化高维向量的常用手段，但是盲目调用sklearn包并不是t-SNE的正确打开方式，知其然还要知其所以然，这样才能基于正确的可视化结果得到可能正确的猜想。参考文章：1.https://towardsdatascience.com/why-you-are-using-t-sne-wrong-502412aab0c02.http://deeplearning.csail.mit.edu/slide_cvpr2018/laurens_cvpr18tutorial.pdf3.https:

1.对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？2.知乎问题有了学术积累和idea后，就需要快速复现idea。刚开始我有一个误区：科研一定要从0做到1。后来导师告诉我大可不必这样。聪明的人会先参考别人的解决方案(特别是SOTA)，在学习过程中强化工程和coding水平，形成更优雅的代码风格。这就像站在巨人的肩膀上，我可以基于他们的工作实现自己的想法，取其精华，去其糟粕。在你基础较差时，提高代码能力最好的方法绝对不是头铁地去楞写，而是阅读别人写的优质代码。

前言Co-learning: Learning from Noisy Labels with Self-supervision发表信息：ACM MM 2021Paper：https://arxiv.org/abs/2108.04063Code：无一、核心思想核心思想：在co-teaching的基础上，通过结合自监督任务和原有有监督任务协同训练。损失：损失分成三个部分，分别是有监督交叉熵损失，自监督的infoNCE损失和多任务的结构一致性损失。实现细节：三个增广：weak Aug 用于有

前言我硕士期间主要关注的方向是少样本学习，长尾分布，噪声标签学习等。之前视野不够开阔，只关注了图像分类相关的工作，但是我意识到要真正的和实际需求相结合，就必须也也关注包括图像分割，目标检测等方向的工作，同时也应该对low level方向的工作有所了解，这些在实际中的用处也很丰富。这篇文章主要整理自己粗略过一遍ICCV2021自己比较感兴趣的文章，主要是对摘要的阅读和自己的对摘要的理解。另外，为了方便复现，提供开源代码的工作是我们优先关注的对象，论文list链接：ICCV2021-Papers-with

前言发表信息：2019CVPR文章链接：https://arxiv.org/abs/1903.12290代码链接：https://github.com/WenbinLee/DN4鉴于已有相关博文对这篇文章进行分析：https://blog.youkuaiyun.com/qq_36104364/article/details/106479996我补充一些自己的阅读感受。一、核心思想作者开门见山指出自己收到NBNN（Naive Bayes Nearest Neighbors)的启发，通过将传统metric-b

前言通常解决小样本学习任务有两种主要的思路：迁移学习：最简单的方法是利用预训练好的特征提取器，使用少量的有标签样本对novel class重新训练一个分类器。元学习：基本思想是在base class 中构造小样本学习的任务来达到一个能够对小样本任务快速适应的模型。隐含的假设是构造的任务和实际测试的任务应该是同分布的（什么叫做the same distribution task 目前还没有明确的定义，有人说是形式一样，比如都是5-way-5-shot，这就叫做同分布）。一般会将数据集分成meta-tr

序都说好记性不如烂笔头，深度学习方向的论文质量层次不齐，为了便于记录自己思考的过程，我决定写博客记录自己所读到的论文，虽然这需要花费一点时间，但我相信这是值得的。从今天开始！...