小王WBJ-优快云博客

原创添加注意力机制

改进YOLOv5, YOLOv7系列：1.YOLO超全注意力机制汇总 | S2A, SE,SimAM, SKA,ShA, SOCA, CA, CBAM, CrissCrossA, NAM, GAM等_芒果汁没有芒果的博客-优快云博客

2022-11-05 10:54:02 525

注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特征。谷歌团队近期提出的用于生成词向量的BERT[3]算法在NLP的11项任务中取得了效果的大幅提升，堪称2018年深度学习领域最振奋人心的消息。而BERT算法的最重要的部分便是本文中提出的Transformer的概念。

2022-09-14 22:32:29 274

原创 SKNet 算法的介绍

从设计理念上来讲也比较simple，即对所有的 > 1 的卷积kernel进行 Selective Kernel 改造，充分利用group/depthwise卷积带来的较小的理论parameters和flops的红利，从而使增加多路与动态选择的设计也不会带来很大的overhead（但实际group/depthwise的加速优化目前还不是特别好，导致实际速度还是略有一些慢的），具体可以参考如下的结构表格。实测目前在超分辨的任务上有明确的提升，扩展应用前景还是值得期待的~

2022-09-14 15:34:35 1037

原创 SENet 算法的介绍

SENet 是最后一届 ImageNet 2017 竞赛分类任务的冠军，top5 的错误率达到了 2.251%，比 2016 年的第一名还要低 25%，可谓提升巨大。并且它本身的基础模块是轻量级的，非常容易扩展到其它的结构中去。

2022-09-14 14:44:48 1033

原创 ShuffleNet 算法的介绍

本文主要介绍了ShuffleNet的核心设计思路以及网络架构，最后使用Pytorch来实现。说点题外话，在之前计算力不足时，CNN模型有时会采用group convolution，而随着计算力的提升，目前大部分的CNN采用dense channle connections，但是现在一些研究又转向了group convolution来提升速度，这有点戏剧化。不过ShuffleNet通过channle shuffle这一个trick解决了group convolution的一个副作用，还是值得称赞的。

2022-09-13 19:28:22 960