- 博客(20)
- 收藏
- 关注
RSS订阅原创 重新聚焦Attention在微调大模型中的重要性
方法继承了之前关于top-down attention的工作，意思就是我们不想关注到图片中所有的object，而是只去关注和当前任务相关的object。简单来说，top-down attention是一种可以根据目前在做的task来相应地调整模型的attention的机制。功能选择模块首先选择与任务相关的通过根据令牌与任务嵌入的相似性重新加权令牌，然后选择。通过在渠道维度上应用特定于任务的线性变换来与任务相关的渠道。
2023-05-31 17:44:03
212
原创 CVPR23 Highlight｜拥有top-down attention能力的vision transformer
由于这篇文章中的AbSViT都是用ImageNet supervision去pretrain的，而我们发现这样子学到的top-down attention其实比较弱（因为ImageNet基本都是single-object classification，并不涉及multi-object的top-down attention），所以下一步可能需要用unsupervised或者vision-language pretraining的方式去学习一个更强的top-down attention。
2023-05-31 17:22:08
434
原创 【cvpr2022】TransWeather: Transformer-based Restoration of Images Degraded by Adverse Weather Conditio
与 Q、K 和 V 从同一输入中获取的自注意力变换器块不同，这里的 Q 是天气类型可学习嵌入，而 K 和 V 是从变换器编码器的最后阶段获取的特征。Intra-PT 处理从原始补丁创建的子补丁，并挖掘较小补丁的特征和细节。此外，如果雨的强度很大，当它打在场景中的物体或人的表面时会产生飞溅效果。然而，我们认为当补丁像 ViT [9] 中的那样大时，我们无法过多地关注补丁中的信息。在这里，多头自注意力机制将天气类型查询作为输入，并将其与从 transformer 编码器提取的特征中获取的键和值相匹配。
2023-05-24 21:43:31
1040
4
原创 图像恢复常用的损失函数
结构相似性损失（Structural Similarity Loss，SSIM Loss）：结构相似性损失基于结构相似性指数（SSIM）来衡量恢复图像与原始图像之间的结构相似性。感知损失（Perceptual Loss）：感知损失通过使用预训练的深度卷积神经网络（如 VGG）来比较恢复图像与原始图像之间的特征表示差异。L1损失函数，也称为绝对值损失函数，是一种常见的损失函数，用于衡量预测值与真实值之间的差异。在图像恢复中，L1损失函数可以用于衡量恢复图像与原始图像之间的像素级别差异。
2023-05-22 22:44:29
3073
原创 【CVPR2022】All-In-One Image Restoration for Unknown Corruption
在本文中，我们提出了一种不受损坏类型和级别先验影响的一体式图像恢复网络 (AirNet)。同时，该方法是一种从不同损坏中恢复图像的一体式解决方案，这对于先验难以预知或退化可能随时间和空间变化的各种实际场景具有竞争力。
2023-05-22 22:35:56
2003
1
原创 CVPR 2023｜EfficientViT：让ViT在多个部署场景实现实时推理
本文详细分析了现有ViT的推理速度瓶颈，提出了EfficientViT以实现不同部署场景下的实时推理，其基本模块由三明治结构和级联组注意力构成。在多个任务和数据集上的实验展示了模型的性能和速度。随着各个领域的研究人员对ViT的深入探索，模型的潜力正在被不断发掘。研究者希望通过本文能给ViT轻量化和在有实时性要求的场景下广泛应用提供灵感。在未来工作中，研究者将尝试通过网络结构搜索进一步提高效率，减少模型参数，以及探索如何扩展到不同任务和数据模态下的Transformer中。
2023-05-19 21:44:35
1395
原创 Revisiting the Transferability of Supervised Pretraining: an MLP Perspective
虽然SL,SL-MLP,BYOL在开始时的Feature mixtureness都较高，随着训练的进行，SL专注在预训练域pre-D上的表征，预训练域pre-D和迁移域eval-D特征分布间的距离开始拉远，而SL-MLP和BYOL的预训练域pre-D和迁移域eval-D特征分布间的距离则一直保持在一个很高的状态。相比于之前的对监督学习和无监督学习的分析，这次针对迁移性能的revisit，从监督学习和无监督学习在训练时结构上的差异出发，指出了之前被大家忽视的MLP projector是其中的关键因素。
2023-05-19 21:27:46
167
原创 图像去雾学习
由于单幅图像去雾问题中缺少诸多关键信息，因此早期研究者尝试使用多幅图像或补充额外信息的方法为雾图成像的欠定方程增加约束。后者则是利用神经网络将输入的有雾图像直接恢复得到去雾图像，也即深度学习中常说的端到端去雾。基于神经网络的去雾方法分为：两阶段去雾算法和单阶段去雾算法两种。算法、基于导向滤波的暗通道去雾算法、贝叶斯去雾算法等。2、基于融合同态滤波的直方图均衡化去雾算法。4、基于Retinex理论的去雾算法。1、DehazeNet去雾算法。1、基于直方图均衡化的去雾算法。3、基于小波变换的去雾算法。
2023-05-17 13:25:37
581
原创 module ‘tensorflow‘ has no attribute ‘logging‘
在tensorflow 2.1下跑训练网络，报错：AttributeError: module ‘tensorflow’ has no attribute ‘logging’这个是因为tensorflow2.1已经没有tf.logging了，解决方法如下：将tf.logging替换成tf.compat.v1.logging。问题解决。...
2022-01-19 11:33:32
5704
原创 miniconda换源
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forgeconda config --add chann...
2020-03-08 03:14:43
2244
1
原创 miniconda创建环境失败
conda create -n name python=()创建虚拟环境报错：can’t find info 什么的解决办法：直接去
2020-03-08 03:11:52
1727
原创 vscode open browser failed!
之前把chrome从c盘移到d盘了显示Open browser failed!! Please check if you have installed the browser chrome correctly!应该是vscode原本读取chrome的路径找不到了但vscode好像没有自定义路径所以又把chrome复制到默认路径下了默认路径C:\Users\Administrator\Ap...
2020-02-15 23:03:09
1076
原创 win10蓝屏自动修复无限循环不能开机问题
昨天刚用ccleaner清理注册表，把网卡回来才终于连上网了，还以为终于可以安心扒项目，没想到今天，又突然连不上网红叉叉并且重启自动修复无限循环开不了机，强制禁用驱动签名才开机https://blog.youkuaiyun.com/ymmccc/article/details/89380061?utm_source=app但治标不治本，我的...
2020-02-14 21:45:20
2259
原创 git上传项目到码云
https://blog.youkuaiyun.com/qq_27501889/article/details/64920115?utm_source=app之后更新修改代码1、git add .2、git commit -m “注释”3、git push -u origin master第三步失败的话使用强制提交git push -u origin master -f...
2020-02-13 20:21:36
137
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人