专访 Swin Transformer 作者胡瀚：面向计算机视觉中的「开放问题」 原创

最新推荐文章于 2025-05-02 15:55:05 发布
最新推荐文章于 2025-05-02 15:55:05 发布
阅读量1k 收藏
点赞数
文章标签： transformer 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Extremevision/article/details/122056692
版权

文 | 刘冰一、Echo
编辑 | 极市平台
本文原创首发于极市平台，转载请获得授权并标明出处。

胡瀚，湖北潜江人，本博均毕业于清华大学自动化系，曾就职于百度研究院深度学习实验室，目前任职于微软亚洲研究院视觉计算组。近期他和团队的“ Swin Transformer：Hierarchical Vision Transformer Using Shifted Windows ” 摘得 ICCV 2021 马尔奖（最佳论文奖）。

1 从看闲书谈起

科研人员闲暇做什么？也许千人千面。胡瀚在微软亚洲研究院工作，周末他偏好窝在家里看书作消遣。此外，他在工作日早晚也会挤出一段时间用来阅读。最近在看先秦两汉时代的书，翻着翻着他脑海里会闪现一些和工作中的互通之处。比如，那时诸子百家百花齐放，制度创新层出不穷，但这些思想和制度的创新大都是在前人的基础上进行的改进，以此适应最新的社会经济变化。他感慨做研究最好要做到心中有基准线，了解历史的演进过程以及目前支撑技术和生态的变化，这样才能更好地指引研究前进的方向。

《送东阳马生序》中有一句话：「幼时即嗜学，家贫，无从致书以观」。胡瀚的情况跟这有些相似，他从小便喜欢读书，兴趣浓时废寝忘食，索性村里小学的图书馆加一张床，每天泡在书海里。虽然后来学了理科，但他的阅文比较广泛，古今中外兼容并包，他最爱在历史书中索趣，他认为梳理历史脉络有助于树立“大局观”和“联系思维”。

“全局意识”对他学业和科研助益颇深。在思考问题的时候，他常常能够从眼前孤立的局部跳出来，探讨在更大的图景中对正确方向的把握。 比如博士期间做视觉分割问题，他打破常规的纯工程角度，试图从人的视觉机制中寻找灵感，以指导和启发新算法的设计，这样最终形成的博士论文不再是纯工程模块的罗列，而是形成了更体系性和前瞻性的思考。

胡瀚对历史有许多自己的思考。说起喜欢的历史人物，他钦佩对人类思想变革有贡献的人，比如宣扬知行合一的王阳明；从底层做起、人格完整的的富兰克林，他的价值观智慧且实在；以及杰斐逊，时值美国建国思想大变革之际，他的政治理念和实践对人类社会的贡献功不可没。开卷有益，博览群书，无功利目的地海量阅读，使他形成了宽厚的知识塔基和灵敏的心智结构，从而在科研输出时尽量“知识自由”“引证自由”。

《卡萨布兰卡》里写到，「你如今的气质里，藏着你走过的路，读

最低0.47元/天 解锁文章
极市平台
关注
Swin Transformer、ViT作者等共话：好的基础模型是CV 研究者的朴素追求
BAAIBeijing的博客
06-24 1374
2021-2022 年，随着 Transformer 被引入计算机视觉领域，视觉基础模型研发迎来了又一个新的高潮。一时间，基于视觉 Transformer 的骨干模型设计、自监督学习、模型扩展、下游应用等研究井喷式爆发。在 2022 年 6 月 1 日的智源大会「视觉模型」专题论坛中，Swin Transformer 作者曹越、ViT 作者翟晓华、HRNet 作者王井东、...
如何同时处理庞大、稀有、开放类别的视觉识别？伯克利 AI 研究院提出了开放长尾识别方法
AI 研习社的博客
06-03 1050
雷锋网 AI 科技评论按：在计算机视觉领域，图像分类其实是一个最基本的问题，然后一旦遇到极端长尾、开放式的数据集时，即便是最基本的图像识别任务，也难以很好地实现。伯克利 AI 研究院基于对某段相关的经历的思考提出了「开放长尾识别」（OLTR）方法，据介绍，该方法可同时处理庞大、稀有、开放类别的视觉识别，是目前视觉识别系统评价中更全面、更真实的一种检验标准，它可以被进一步扩展到检测、分割和强化学习上...
专访 Swin Transformer 作者胡瀚：面向计算机视觉中的「开放问题」
qq_29462849的博客
12-21 658
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达文 | 刘冰一、Echo编辑 | 极市平台胡瀚，湖北潜江人，本博均毕业于清华大学自动化系，曾就职于百度研究院深度学习实验室，目前任职...
像高中一样学习：Swin Transformer
LUOYU125的博客
05-02 943
**Swin Transformer** 是一种基于 Transformer 的视觉模型，由 Microsoft 研究团队提出，旨在解决传统 Transformer 模型在计算机视觉任务中的高计算复杂度问题。
Transformer论文阅读：Swin Transformer算法笔记
qq_43631268的博客
02-18 2840
我们提出了一个层级式Transformer，其表征是通过移动窗口来计算的。移动窗口方案通过将自注意力的计算限制在非重叠的局部的窗口，从而带来更高的效率，同时还允许跨窗口的联系。这种层级式的结构具有在不同尺度下建模的灵活性，并且具有与图像尺寸相关的线性的计算复杂度。Swin Transformer的这些特性使其可以兼容广泛的视觉任务，包括图像分类和稠密预测任务，如目标检测和语义分割。其性能在各个视觉任务基准上都超过了之前的SOTA，展示了基于Transformer的模型作为视觉主干的潜力。
Swin Transformer：Hierarchical Vision Transformer using Shifted Windows （论文阅读笔记）
weixin_40671425的博客
12-25 4196
swin transformer 是微软亚研院胡瀚老师与2021年提出，发表在ICCV上并获得best paper 和马尔奖。是基于transformer的backbone网络，屠榜各大视觉任务。 论文链接：https://arxiv.org/abs/2103.14030 代码链接：https://github.com/microsoft/Swin-Transformer 摘要 本文介绍了一种称为 Swin Transformer 的新视觉 Transformer，它可以作为计算机视觉的...
Swin Transformer v2实战：使用Swin Transformer v2实现图像分类
10-12
Swin Transformer v2解决了大型视觉模型训练和应用中的三个主要问题，包括训练不稳定性、预训练和微调之间的分辨率差距以及对标记数据的渴望。 最新更改： 重新适配了timm，并将更换了huggingface的国内链接。 链接...
深度学习基于DTAB模块的Swin Transformer模型改进：图像分类任务中的特征提取与前馈网络优化
04-22
此外，文中还展示了如何基于预训练的Swin Transformer模型创建一个新的分类头，其中包含了DTAB模块。最终，通过替换原始分类头，实现了对新任务的适应。整个过程详细描述了模型架构的设计思路、关键组件的功能以及...
深度学习基于SKModule的Swin Transformer模型改进：图像分类中的特征融合与注意力机制应用
04-24
文中定义了SKModule类，实现了特征分裂、加权融合等功能，并将其应用于Swin Transformer模型的分类头之前。此外，还提供了构建模型的方法get_model()，允许用户指定类别数量和是否使用预训练权重。最后，通过示例...
深度学习基于PyTorch的PSConv2d卷积模块设计与Swin Transformer模型改进：图像分类任务中的应用
最新发布
05-04
文章还展示了如何将PSConv2d集成到预训练的Swin Transformer模型中，具体是在patch embedding层后添加PSConv2d模块，并修改分类头以适应新的类别数量。最后，通过示例代码演示了模型的构建与测试过程，验证了模型...
为何Transformer在计算机视觉中如此受欢迎
soaring_casia的专栏
01-12 3028
本文选自中国自动化学会模式识别与机器智能专委会通讯的文稿，作者是微软亚洲研究院视觉计算组研究员胡瀚。 胡瀚，微软亚洲研究院视觉计算组研究员，于2014年和2008年在清华大学自动化系分别获得博士和本科学位，博士论文获得中国人工智能学会优博奖，博士期间曾在宾夕法尼亚大学访学，毕业后曾在百度研究院深度学习实验室工作。担任CVPR 2021/2022领域主席。目前主要研究兴趣是基本视觉建模，视觉自监督学习，以及视觉语言联合表征学习，是Swin Transformer，关系网络系列和可变形卷积系列的作者。在计算机
算法-开放性题
weixin_35821291的博客
03-03 461
甲乙丙（或ABC），3个人轮流掷（6面）骰子，先掷出6的人获胜，甲获胜的概率是多少？ 甲先扔 开放性问题，不限制解法； 精确到小数点 3 位 计算复杂部分建议用编程计算 public class Solution { public static void main(String[] args) { Solution solution = new Solution(); Double[] doubles = new Double[101]; ..
swin-transformer原理介绍
hellozhxy的博客
12-08 3161
作者：Vincent Liu链接：https://www.zhihu.com/question/521494294/answer/2492957365来源：知乎Swin Transformer 的提出可以说是里程碑式的，在学术界引起了巨大的反响，网络上也有许多讲解的教程，这一篇就写得非常棒，另外强烈推荐Zhu老师在。这篇文章就来记录一下我对 Swin Transformer 的理解。首先，在。
一篇搞懂swin-transformer：Hierarchical Vision Transformer using Shifted Windows
m0_47588836的博客
05-03 5014
Swin Transformer是一种新的视觉Transformer ，它产生层次特征表示，并且对输入图像大小具有线性计算复杂度。Swin Transformer在COCO对象检测和ADE20K语义分割方面实现了最先进的性能，大大超过了以前的最佳方法。我们希望Swin Transformer在各种视觉问题上的强大表现将鼓励视觉和语言信号的统一建模。
线上直播丨KDD 2021预训练Workshop，谷歌MSRA等5位顶尖研究者参与研讨
BAAIBeijing的博客
08-13 849
近年来，机器学习领域最激动人心的进展，莫过于预训练方法的兴起，尤其是超大规模预训练模型的出现。各种领域，预训练方法都取得了一定的成功，如自然语言处理、计算机视觉、语音识别和图学习。预训练...
强力推荐：Swin-Transformer-OCR —— 开启OCR技术新篇章
gitblog_00723的博客
08-28 637
强力推荐：Swin-Transformer-OCR —— 开启OCR技术新篇章 swin-transformer-ocrswin-transformer custom for OCR项目地址:https://gitcode.com/gh_mirrors/sw/swin-transformer-ocr 在光学字符识别（OCR）领域，每一次技术的迭代都为我们带来了更高效、准确的文本识别解决方案。今天...
Swin Transformer夺得ICCV 2021最佳论文！中国学者拿下“半壁江山”！
阿木寺的博客
10-13 806
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AI科技评论作者 | 蒋宝尚、琰琰刚刚，计算机视觉三大顶会之一的 ICCV 2021于线上拉开序幕。今年 ...
Swin Transformer OCR安装与使用指南
gitblog_00914的博客
08-24 653
Swin Transformer OCR安装与使用指南 swin-transformer-ocrswin-transformer custom for OCR项目地址:https://gitcode.com/gh_mirrors/sw/swin-transformer-ocr 一、项目目录结构及介绍 Swin Transformer OCR项目基于GitHub仓库 YongWookHa/swin...
swin transformer 总结
beizhengren的博客
10-20 8469
swin transformer 总结 1. 背景介绍 原名：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 获奖：2021 ICCV Best Paper 2.文章介绍 2.1概括 Swin Transformer 是一种新型的transformer，可以用作视觉和语言处理的统一模型 特性 - 引出了一种具有层级的特征表达方式（基于self-attentation的shifted window） - 具有线性
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值