暖风️-优快云博客

原创 DeiT：Training data-efficient image transformers & distillation through attention

这篇文章主要是通过一些训练策略和来提升模型的训练速度和性能效果。原文链接：Training data-efficient image transformers & distillation through attention源码地址：https://github.com/facebookresearch/deit写的好的文章：Transformer学习(四)—DeiT知识蒸馏可以简单看下这篇介绍：知识蒸馏(Knowledge Distillation) 经典之作，论文笔记虽然ViT在分类任务中有着非常

2022-07-03 23:29:23 3466

原创 LV-ViT：All Tokens Matter: Token Labeling for Training Better Vision Transformers

这篇文章是对ViT训练的一种增强方法LV-ViT。以往的Vision Transformer 分类任务都只是应用class token聚集全局信息，用于最后的分类。作者提出将patch token也用作loss的计算。相当于将一张图像的分类问题，转换成了每个token的识别问题，每个token的分类标签是由机器生成的监督（supervision）。原文链接：All Tokens Matter: Token Labeling for Training Better Vision Transformers..

2022-07-01 21:17:29 2777

原创 DAT：Vision Transformer with Deformable Attention

这篇文章是相对于Swin-Transformer和PVT进行改进，加入了可变形机制，同时控制网络不增加太多的计算量，作者认为，缩小q对应的k的范围，能够减少无关信息的干扰，增强信息的捕捉，于是引入了到注意力模块中，提出了一种新的注意力模块：可变形多头注意力模块——对k和v进行DCN偏移后再计算注意力。将这个模块替换到Swin-Transformer的第三四阶段的滑动窗口注意力部分，获得了较好的实验性能。原文链接：Vision Transformer with Deformable Attention源码地

2022-06-30 11:48:16 1769

原创 SuperViT：Super Vision Transformer

这篇文章主要针对减少Vision Transformer的计算消耗，提出了一种新的方法。在ViT中我们已知Transformer的token数量与patch大小成反比，这表示patch大小越小的模型计算成本越高，而patch越大模型效果的损失就越大。这正和我们的目的相背离。SuperViT的作者从两个方面来提升性能：`多尺度的patch分割`和`多种保留率`。尽量的减少计算量加速计算并维持较好的模型性能。该种方法用在图像分类上基本没什么问题，但是在超分领域，像素的丢弃还是会较严重的影响模型的性能。.....

2022-06-28 19:10:24 1386

原创 pycharm报错 Error: failed to send plot to http://127.0.0.1:63342及Connection Refused Error: [Errno 111]

记录一个错误，在pycharm运行demo的时候，出现这个错误，之前运行是好的，今天突然报错了。换用maboxterm运行是可以的（可以出图），但是pycharm不行。其实demo已经跑完了，只是没法显示图片，图片从服务器传回pycharm的时候连接出现了问题。这里记录汇总一下我尝试过的所有方法。

2022-05-31 22:24:27 5566 10

原创 Swin-Ttransformer Object Detection 环境配置及训练

简单记录下，安装、跑通、GPU训练swin-t源码的步骤。

2022-05-30 22:22:22 2204 10

原创超分算法HIPA: Hierarchical Patch Transformer for Single Image Super Resolution

HIPA: Hierarchical Patch Transformer for Single Image Super Resolution[2022]Abstract1 Introduction2 Method3 Experiments4 ConclusionAbstract基于变压器的架构开始出现在单图像超分辨率（SISR）中，并取得了良好的性能。大多数现有的视觉变换器将图像分割成相同数量的固定大小的面片，这对于恢复纹理丰富程度不同的面片可能不是最佳选择。本文介绍了一种新的变压器结构HIPA，它使.

2022-05-19 11:35:05 1942 2

原创超分算法ESRT：Transformer for Single Image Super-Resolution

这篇文章网络结构ESRT（ Efficient Super-Resolution Transformer）还是蛮复杂的，是一个CNN和Transformer结合的结构。文章提出了一个高效SRTransformer结构，是一个轻量级的Transformer。作者考虑到图像超分中一张图像内相似的细节部分可以作为参考补充，（类似于基于参考图像Ref的超分），于是引入了Transformer，可以在图像中建模一种长期依赖关系。而ViT这些方法计算量太大，太占内存，于是提出了这个轻量版的Transformer结构（.

2022-05-18 15:45:31 13390 6

原创超分算法IPT：Pre-Trained Image Processing Transformer

本文是一个基于transformer的预训练通用模型，针对低级视觉任务还没有人提出预训练的模型，所以作者使用了超大数据集训练出了image processing transformer (IPT)。可以微调后应用于图像重建、去噪、去雨等等。具体结构作者使用了一个多头多尾共享躯干的结构。应对不同的任务，有针对性不同的头部和尾部，分别使用不同的处理方式（三个卷积层）。中间是一个transformer编解码器结构。将头部输出的特征图像unfold成”词向量“形式和位置嵌入相加后输入encoder，encoder.

2022-05-17 19:08:59 5223 6

原创超分算法 SwinIR: Image Restoration Using Swin Transformer

这篇文章结构比较简单，如果看过Swin-Transformer的话就没什么难点了。作者引入Swin-T结构应用于低级视觉任务，包括图像超分辨率重建、图像去噪、图像压缩伪影去除。网络由一个浅层特征提取模块、深层特征提取模块、重建模块构成。重建模块对不同的任务使用不同的结构。浅层特征提取就是一个3×3的卷积层。深层特征提取是k个RSTB块和一个卷积层构成。RSTB（Res-SwinIR: Image Restoration Using Swin Transformer[ICCV 2021]Abstract1.

2022-05-17 10:38:09 10139

原创 Swin Transformer详解: Hierarchical Vision Transformer using Shifted Windows

这篇文章使用和CNN类似的分层提取特征，来达到扩大感受野的效果。是一个特征提取的主干网络，backbone。分层特征提取，不断减小“feature map”的大小（token的数量）。关键部分是Shift window移动窗口（W-MSA、SW-MSA）ViT中使用不重叠的窗口，但是忽略了相邻窗口间的相关性，而Swin-T使用shfit windown移动（M/2）来弥补。但这样会引入很大的计算量，那么作者又提出了cyclic-shift 循环位移，保证计算量不变，但是这样的移动会使得相邻窗口间不相关的部.

2022-05-16 21:25:00 10369

原创超分算法TTSR：Learning Texture Transformer Network for Image Super-Resolution 基于参考图像Ref的超分辨率重建

这篇文章TTSR应该是第一次将transformer引入到超分任务中，且是基于参考图像的超分重建RefSR，文章发表在CVPR2020。基于参考图像的超分不同于单图像超分，更注重于图像细节的还原，通过迁移参考图像中的相似纹理来还原HR图像。基于参考图像的超分文章并不多，这种方法的局限性比较大。TTSR是基于SRNTT这篇文章进行了改进，加入注意力机制，能选择更相似的纹理来完成SR图像恢复。原文链接：TTSR：Learning Texture Transformer Network for Image S.

2022-05-07 16:43:06 4260 3

原创视频超分算法EDVR：Video Restoration with Enhanced Deformable Convolutional Network超分辨率重建

EDVR: Video Restoration with Enhanced Deformable Convolutional Networks一级目录二级目录三级目录一级目录二级目录三级目录

2022-05-05 17:14:10 4762

原创视频超分算法：RVSR: Robust Video Super-Resolution With Learned Temporal Dynamics

这篇文章的重点在于Robust，也就是说作者提出的方法都有利于网络的稳定和减少错误的发生。VSR任务的架构分为对齐和融合SR。在对齐部分作者提出了spatial alignment network时间对齐网络；在融合SR部分作者提出了空间自适应网络temporal adaptive neural network。原文链接：RVSR: Robust Video Super-Resolution With Learned Temporal Dynamics【2017 ICCV】RVSR: Robust ..

2022-04-30 00:32:09 1333 2

原创视频超分算法TDAN: Temporally-Deformable Alignment Network for Video Super-Resolution

原文链接：TDAN: Temporally-Deformable Alignment Network for Video Super-ResolutionTDAN: Temporally-Deformable Alignment Network for Video Super-ResolutionAbstract二级目录三级目录Abstract视频超分辨率（VSR）旨在从相应的低分辨率（LR）帧（参考帧）和多个相邻帧（支持帧）恢复照片级真实感的高分辨率（HR）视频帧。由于摄像机或物体的不同运动，参考.

2022-04-27 15:50:44 2173

原创图像超分算法小合集三：RCAN、SRLUT、ESPCN、VESPCN（混进来一个VSR）

目录RCAN、SRLUT、ESPCN、VESPCN本文只是简单介绍这些算法和网络结构，详细内容可以在我的博客内找、

2022-04-26 09:38:06 3271

原创视频超分算法VESPCN：Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation

这篇文章基于ESPCN提出了针对视频重建任务的网络结构VESPCN。ESPCN在图像和视频重建任务上都相比先前的方法都有一定的提升，但ESPCN只能对单帧图像进行重建，并不能利用视频多帧图像的时间相关性信息。该模型由对齐网络和融合时空SR网络组成VESPCN：Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion CompensationAbstract1 Introduction2 Method2.1 Spat.

2022-04-25 22:46:28 2649

原创超分算法RCAN：Image Super-Resolution Using Very Deep Residual Channel Attention Networks图像超分辨率重建

这篇文章的网络结构和写作手法和RDN都非常相似，然后一看作者就是同一批 😐 。这篇文章是EDSR的一个加强版，也是RDN的姊妹版

2022-04-23 23:14:46 8633

原创 STN：Spatial Transformer Networks 空间变换网络

文章是Google DeepMind在2015年提出的Spatial Transformer Networks（STN），该模型能够让卷积网络学会数据的形状变换，能够对经过平移、旋转、缩放及裁剪等操作的图片得到与未经变换前相同的检测结果。STN作为一种独立的模块可以在网络的任意位置插入使得网络具有空间不变性。文章链接：Spatial Transformer Networks参考目录：仿射变换和双线性插值：Spatial Transformer Networkspytorch源码：SPATIAL T.

2022-04-21 21:24:47 6982 1

原创超分算法ESPCN：Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel亚像素卷积

Real-Time Single Image and Video Super-Resolution Using an EfficientSub-Pixel Convolutional Neural Network一级目录二级目录三级目录Sub-Pixel Convolutional Neural Network)https://arxiv.org/pdf/1609.05158.pdf一级目录二级目录三级目录...

2022-04-20 11:19:35 7016 1

原创图像超分算法SRLUT: Practical Single-Image Super-Resolution Using Look-Up Table图像超分辨率重建

这篇文章是首次将查表法引入SR领域。将SR网络训练好的缩放像素值存在表中，在测试阶段只需要在表中查找对应值，就能完成图像重建任务。由于该方法不需要大量的浮点运算，因此可以非常快速地执行。原文链接：SRLUT: Practical Single-Image Super-Resolution Using Look-Up Table 【CVPR2021】参考目录：超分之SR-LUT超分之SR-LUT源码解析源码(Pytorch)SRLUT: Practical Single-Image Super-.

2022-04-19 22:25:34 3177 2

原创可变形卷积：Deformable Convolutional Networks

文章提出了一种通过在模块中增加额外偏移量的空间采样位置和从目标任务中学习到偏移量且不需要额外的监督的方法来增强CNN的变换建模能力。基于这种思想提出了两个新模块：可变形卷积和可变形RoI池化。新模块可以很容易地取代现有CNN中的普通模块，并且可以通过标准反向传播轻松地进行端到端训练。Deformable Convolutional Networks参考目录可变形卷积可变形ROI池化参考目录可变形卷积原文：Deformable Convolutional Networks学习DCN时我看了很多别人的.

2022-04-15 21:50:31 5742 5

原创图像超分算法小合集二：FSRCNN、DRCN、RDN、EDSR

目录FSRCNNDRCNRDN文章：FSRCNN : Accelerating the Super-Resolution Convolutional Neural NetworkDRCN: Deeply-Recursive Convolutional Network for Image Super-ResolutionRDN: Residual Dense Network for Image Super-ResolutionFSRCNNFSRCNN : Accelerating the Supe

2022-04-13 23:21:16 4521

原创超分算法RDN：Residual Dense Network for Image Super-Resolution 超分辨率图像重建

这篇文章总结分析了ResNet 和DenseNet的优缺点，并将其结合，提出了新的结构ResidualDenseNet。文章中对ResNet 和DenseNet以及MemNet都进行了简单的对比分析。四篇原文都放在下面。参考文档：RDN：https://arxiv.org/pdf/1802.08797v2.pdfResNet：https://arxiv.org/pdf/1512.03385.pdfDenseNet：https://arxiv.org/pdf/1608.06993.pdfMemNe.

2022-04-11 23:14:15 5246 3

原创超分算法DRCN：Deeply-Recursive Convolutional Network for Image Super-Resolution超分辨率重建

DRCN：Deeply-Recursive Convolutional Network for Image Super-ResolutionAbstract1 Introduction2 Method2.1 Basic Method2.2 Advanced Model2.3 LOSS3 Experimental4 Conclusion这篇文章是第一次将之前已有的递归神经网络(Recursive Neural Network)结构应用在图像超分辨率上。由于梯度爆炸/消失问题，引入了递归监督和跳跃连接两个扩展

2022-04-09 21:02:21 5361 1

原创超分算法FSRCNNN:Accelerating the Super-Resolution Convolutional Neural Network 图像超分辨率重建

FSRCNNN:Accelerating the Super-Resolution Convolutional Neural Network一级目录二级目录三级目录介绍一级目录二级目录三级目录

2022-04-07 23:09:25 4842 2

原创论文笔记之EDVR: Video Restoration with Enhanced Deformable Convolutional Networks

EDVR: Video Restoration with Enhanced Deformable Convolutional Networks一级目录二级目录三级目录一级目录二级目录三级目录论文地址：https://arxiv.org/abs/1905.02716代码地址：https://github.com/xinntao/EDVR.文章提出了一种新的具有增强可变形卷积的视频恢复框架，称为EDVR。从两个方面挑战了现有的方法：（1）如何在给定大运动的情况下对齐多个帧；（2）如何有效地融合

2022-03-24 09:40:05 1769

原创超分算法小合集之SRCNN、DCSCN、SRDenseNet、SRGAN

阅读指引SRCNNDCSCNSRDenseNetSRGAN论文快速指引：SRCNN：Learning a Deep Convolutional Network for Image Super-ResolutionDCSCN：Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in NetworkSRDenseNet：Image Super-Resolution Using Dens

2022-03-20 22:27:55 8809

原创知云翻译不能翻译或者只能翻译半句解决方案

阅读指引翻译不出来——自查IE和添加百度API自查IE添加百度API遇到问题 ——查看故障清单知云翻译也是同学推荐给我的，用了快一年了近半年的版本几次更新好像让他没那么好用了，经常翻译不出来或者很慢又或者就半句。身边用的人特别多，也有好几个碰到问题的，用我的办法确实能得到解决。在这里我把我的经验分享一下。翻译不出来——自查IE和添加百度API自查IE大概率因为网络不稳定导致翻译不那么顺滑，知云自带的百度引擎是通过获取Internet Explorer浏览器中的百度翻译展示到软件译文区域的。

2022-03-17 17:01:07 28330 2

原创超分：DCSCN：Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in...

最近在学习图像超分，看了一篇文章。DCSCN：Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in Network文章连接：https://arxiv.org/ftp/arxiv/papers/1707/1707.05425.pdf看到一篇写的很好的文章，链接如下：论文笔记之DCSCNhttps://blog.youkuaiyun.com/MR_kdcon/article/details/

2022-03-16 19:42:05 868

原创 Python中KeyError：“ambulance “

前几天遇到了一个错误错误提示KeyError："ambulance "一开始我还以为它在呼救“俺不能死~“ ”俺不能死~”属实是笑了好了一会---------------------------------假装分割线----------------------------------------言归正传，我搜索了好久 ,发现没有一条错误是和ambulan相关其实key erroer这个错误和引号内的词"ambulan "关系不大这是一类错误出现这类错误，大多和使用了字典有关，错误

2022-03-09 22:08:29 669

原创 git使用教程git-bash（ssh版）GitHub远程仓库连接

食用指南一下载安装git bash二创建github仓库三 SSH keys配置二级目录三级目录git有两种连接方式：ssh和https。ssh使用前连接配置好SSH key后就不需要每次都输入账号密码，比较方便一下载安装git bash下载连接：git官网安装教程可以参考这篇写的非常的详细： https://blog.youkuaiyun.com/sanxd/article/details/82624127（git下载安装和github账号注册）二创建github仓库创建github账号后，

2022-03-09 12:13:15 8623 3

原创 NLP学习记录一

自然语言处理入门——何老学习记录中文文件显示错误 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc7 in position 2: invalid continuation byte和书本上的一些不同学习记录中文文件显示错误 UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xc7 in position 2: invalid continuation byte第一章最后的部分安装好h

2021-09-29 15:46:01 296 1

原创 ZJUWLAN连接弹不出登录页面

每次关机重启后，就会出现能连上wifi但是登陆页面跳转失败的问题。我最早的一段时间是没问题的，后来可能装了些乱七八糟的软件，导致出现这个问题。出现过两种错误一种是尚未连接一种是msftconnecttestedge是这样Google是这样的这个图是复制的别人的我的当时没截图网上常见的方法我都试了。设置Internet协议版本4/6 自动获取IP和DNS。用IE浏览器关闭防火墙重启电脑等等都不适合我。解决的办法是。打开IE浏览器，点击右上角工具栏的工具图标，选择“

2021-09-01 16:11:47 1995 1

原创 VsCode 运行后终端没有结果

最近入手了VsCode很多都还不太清楚，稍微记录一下碰到的一点问题。也是第一次写博客。一运行后终端没有结果在网上试了好多好多解决方法都没有用！最终还是找到了有效方法！链接: https://ask.youkuaiyun.com/questions/3535496.vscode是cpptools自动生成的，其中launch.json的externalConsole已改为false，settings.json中也加入了"terminal.intergrated.shell.windows": “C\WINDOW

2021-04-12 16:29:38 27185 9

qq_45122568的博客