EMIvv的博客

首先分清一下multiclass和multilabel：多标签任务的难度主要集中在以下问题：现有的方法应对multi的预测主要有2大路线：而一般研究最多的应对relation会有3种策略：一阶策略：忽略和其它标签的相关性，比如把多标签分解成多个独立的二分类问题。二阶策略：考虑标签之间的成对关联，比如为相关标签和不相关标签排序。高阶策略：考虑多个标签之间的关联，比如对每个标签考虑所有其它标签的影响。它的基本思路与ResNet一致，但是它建立的是前面所有层与后面层的密集连接（dense connectio

引言在各个cv领域都取得了非常不错的效果。整体框架可以看出他与VIT的主要区别就是SWIN的特征图和CNN类似，是具有层次性的，逐步下采样，所以在分割、检测任务会有更大的优势。而VIT是一次性下采样16倍。其次，通过在低层次的时候限制patch之间建立关系，即会把图片分隔成不同的大块，大块之间是没有交流的。这样就可以节省大部分没有必要的计算量。即（Windows Multi-self Attention机制）。细节patch partition和linear embedding4 *

引言（Transformer）transformer一开始提出为上面这篇论文，主要应用在NLP领域。在此之前，nlp主要使用RNN（记忆的长度是有限的，比较短，所以有了后面的LSTM），LSTM等时序网络， 且无法并行化训练（即必须先计算出t0时刻的数据，再计算t1时刻的数据），导致训练效率低。所以提出transformer，如果在硬件不受限制的情况下，他的记忆长度是无限的。而且可以做并行化。核心模块：self-attention计算q,k,v对(q*k) / np.sqrt(d)得到

EfficientNet V1 V2总结

MobileNet系列总结

一、简介VGGNet由牛津大学的视觉几何组（Visual Geometry Group）和Google DeepMind公司的研究员共同提出，是ILSVRC-2014中定位任务第一名和分类任务第二名。二、特点小卷积核。作者将卷积核全部替换为3x3（极少用了1x1）；小池化核。相比AlexNet的3x3的池化核，VGG全部为2x2的池化核；层数更深特征图更宽。基于前两点外，由于卷积核专注于扩大通道数、池化专注于缩小宽和高，使得模型架构上更深更宽的同时，计算量的增加放缓；全连接转卷积。网络测试阶段

大数据实验学习打卡第N次记录一、什么是GAN（生成式对抗网络）生成式对抗网络（Generative Adversarial Network）是由Goodfellow等人于2014年提出的，它可以替代VAE来学习图像的潜在空间，能够迫使生成图像与真实图像在统计上几乎无法区分从而生成相当逼真的合成图像！举个通俗的栗子：一名伪造者试图伪造一副达芬奇的画作，于是他将自己的一些赝品与达芬奇的真迹混在一起，并将其展示给一位艺术商人，艺术商人对每幅画的真实性进行评估，并向伪造者给出反馈，告诉他达芬奇的真迹应该具有

大数据实验室 第N次 学习打卡一、引入ResNet是在2015年由微软实验室提出，作者是何恺明（本科清华、博士香港中文大学出来的大神）、孙剑（现任西安交大人工智能学院首任院长）等人提出，其论文《Deep Residual Learning for Image Recognition》，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。（不说多了，就是NB）二、提出ResNet的原因卷积网络发展史中，VGG最高达到了19层，再就是GoogleNet，达到了22层。增加网络的宽度和深度可以