迈微AI研习社 · 号主

只是看理论，却总也学不会？看不懂，又总没有进度？如果你也有这类问题，那你来看看这个专栏。以实际项目为导向，亲自动手实践，从简单的手写字识别、人脸检测、图像分类开始，逐渐学习掌握实例分割、目标检测、车道线检测等进阶技能。学习有回馈、有成就感，你才能继续下去。

多年来，人们一直在研究处理图像以生成文本，例如图像字幕和视觉问答。传统上，此类系统依赖对象检测网络作为视觉编码器来捕获视觉特征，然后通过文本解码器生成文本。鉴于现有的大量文献，在这篇文章中，我想只关注解决视觉语言任务的一种方法，即扩展预训练的通用语言模型以能够消费视觉信号。我将此类视觉语言模型 (VLM) 大致分为四个类别：将图...

近日，北大校友、约翰·霍普金斯大学博士生提出了一种新的方法：MaskFeat，摘下12个SOTA！这是一个能用于视频模型的自监督预训练方法：掩码特征预测（MaskFeat）。Masked Feature Prediction fo...

这篇文章从感知机开始，按照时间顺序回顾了深度学习的历史。1958 年：感知机的兴起1958 年，弗兰克 · 罗森布拉特发明了感知机，这是一种非常简单的机器模型，后来成为当今智能机器的核心和起源。感知机是一个非常简单的二元分类器，可以确定给......

没错！又是李飞飞！走在队伍前面的，是来自斯坦福大学的博士，李飞飞的门生！先来看看李飞飞团队这次在arXiv上发表了的论文题目：SECANT：用于视觉策略零样本泛化的自专家克隆废话少说，给大家介绍一下这篇论文的大致内容。论文介绍简要介绍强化学习中的泛化（generalization），是指通过不断跟环境交......

美国东北大学王言治教授、林雪教授研究组与威廉玛丽学院任彬教授研究组共同提出了一种稀疏训练新框架MEST，有望在边缘设备上实现准确、快速以及内存经济的稀疏训练。在剪枝技术被成功应用于神经网络的压缩和加速之后，稀疏训练在近年来受到了越来越多研究者的关注，即如何从零开始直接训练一个高质量的稀疏神经网络。稀疏训......

随着该领域的成熟，图神经网络论文的数量也在增长，作者仔细研究了一些科学应用，并收集了几篇发表在Nature上的GNN论文。我们周围的很多信息都可以用图表来表示。一个例子是城市道路网络，其中交叉口是节点，道路是链接。另一个是调控网络，它描述了不同基因如何相互作用以增强或抑制某些细胞功能。图神经网络（GNN）可以处理基于图的信息以进行预测。在在 2......

ImageNet见证了计算机视觉发展的辉煌历程，在部分任务性能已超越人类的情况下，计算机视觉的未来又该如何发展？李飞飞最近发文指了三个方向：具身智能，视觉推理和场景理解。在深度学习革命进程中，计算机视觉依托大规模数据集ImageNet，在图像分类、目标检测......

黄学东领衔，微软 Azure 认知服务研究团队重磅发布「视觉-语言-语音」多模态预训练模型 i-Code。在 5 项多模态视频理解任务以及 GLUE NLP 任务上树立了业界新标杆！人类的智能涉及多个模态：我们整合视觉、语言和声音信号，从而形成对世界全面的认识。然而，目前大多数的预训练方法仅针对一到两种模态设计。在本文中，我们提出了一种多模态自监督预训练框架「i-Code......

与主流的feature蒸馏方法不同，本研究将重心放回到logits蒸馏上，提出了一种新的方法「解耦知识蒸馏」，重新达到了SOTA结果，为保证复现该研究还提供了开源的蒸馏代码库：MDistiller。1 研究摘要近年来顶会的 SOTA 蒸馏方法多基于 CNN 的中间层特......

大家好，我是Charmve！目前多模态任务成为行业热点，今天将带大家梳理一下较为优秀的多模态文本图像模型：DALL·E、CLIP、GLIDE、DALL·E 2 (unCLIP)的模型框架、优缺点，及其迭代关系。OpenAI 最近发布了DALL·E 2系统，在 AI 界引发了「地震」，该系统能够根据文本描述创建图像。这是 DALL·E 系统的第二个版本，第一个版本是在近一年......

论文提出了一种面向图像级标签的弱监督语义分割的激活值调制和重校准方案。该方法利用注意力调制模块挖掘面向分割任务的目标区域，通过补偿分支产生的CAM图校准基准的响应图，得到图像的伪标签，该方法在PASCAL VOC2012数据集上获得了SOTA性能。图像级弱监督语义分割（WSSS）是一项基本但极具挑战性的...

mask-and-predict 的方法可能会成为计算机视觉领域的新流派。自监督预训练在自然语言处理方面取得了惊人的成...

来自清华大学、商汤科技等机构的研究者们提出一种简洁而有效的梯度形式——UniGrad，不需要复杂的 memory ba...

视频分割效果优于所有现有方法，这篇入选CVPR 2022的论文是用Transformer解决CV任务的又一典范。

本文将介绍视频理解中的三大基础领域:动作识别(Action Recognition)、时序动作定位(Temporal Action Localization)和视频 Embedding。

在无法获取到原始训练数据的情况下，你可以尝试一下这种新型蒸馏算法 FastDFKD，数据合成与现有的生成方法相比，可以实现 10 倍的加速，与非生成方法相比，甚至可以达到 100 倍以上的加速。

与上一代NanoDet相比，在仅增加1毫秒多的延时的情况下，精度提升了30%。与YOLOv5-n, YOLOX-Nano等其他轻量级模型相比，在精度和速度上也都高了不少！同时NanoDet-Plus改进了代码和架构，提出了一种非常简单的训练辅助模块，使模型变得更易训练！同时新版本也更易部署，同时提供ncnn、OpenVINO、MNN以及安卓APP的Demo！

最近一年里，随着Tracktor++这类集成检测和多目标跟踪算法框架的出现，涌现了很多相关的多目标跟踪算法变种，基本都位列MOT Challenge榜单前列，包括刚刚开源的榜首CenterTrack（22FPS），作者同时也是CenterNet的作者。这里我就对集成检测和跟踪的框架进行分析，相关MOT和数据关联的基础知识可以在我的专栏查看，后期我也会针对基于深度学习的数据关联、ReID2MOT和SOT2MOT等进行专题介绍，收藏的同时也希望点个赞~

NLP的新秀prompt，最近着实有点火。上周针对CoOp写过一篇分享，视觉-语言表征学习CLIP，这周继续介绍视觉语言模型，NLP-CV结合，突破感知到认知的飞跃！

还愁在《原神》里钓不到鱼吗？这有一份迟到的提瓦特钓鱼指南。在游戏圈，你可以没有玩过，但一定听过《原神》。虽然这是一款口碑两极分化的游戏，但不得不承认《原神》是当前最为火热的游戏之一。特别是...

本文主要介绍刚刚被NeurIPS-2021会议录用的一篇关于动态Transformer的最新工作：Not All Images are Worth 16x16 Words: Dynamic Vision Transformers with Adaptive Sequence Length，全部代码和预训练模型已经在Github上开源。

一种图像嵌入盲水印的方法、攻击方式及系统An Algorithm, Attack Method and System for Image Embedding Blind Watermark [P],    Wei Zhang.       [PDF] | [Slides] | [Demo] | [PyS...

你是否也曾迷惑于「离群检测，异常检测，新类检测，开集识别，分布外检测」之间错综复杂的关系？你是否也想要解决开放世界的问题却不知道从哪个任务入手？不知道利用什么方法解决问题？这篇最新综述将让你对开放世界领域有全新的认识！

在这项研究中，研究者提出了 DPT 架构。这种 ViT 架构代替了卷积网络作为密集预测任务的主干网络，获得了更好的细粒度和更全局一致的预测。

写这篇文章的主要目的是想介绍“Per-Pixel Classification is Not All You Need for Semantic Segmentation”背后的主要思想，而不是MaskFormer的具体实现。对实验细节感兴趣的小伙伴欢迎看我们的paper或者code。

OpenAI 的 CLIP 模型在匹配图像与文本类别方面非常强大，但原始 CLIP 模型是在 4 亿多个图像 - 文本对上训练的，耗费了相当大的算力。来自 PicCollage 公司的研究者最近进行了缩小 CLIP 模型尺寸的研究，并取得了出色的效果。

鉴于图割方法的明显优势，白雪冰及其团队采用Graph Cuts算法和Grab Cut算法分别对木材表面的单目标和多目标缺陷图像进行分割试验，以总结传统图割方法的不足和改进算法的优点。

你是否还在为设计 CLIP 模型的提词器（prompt）而烦恼？到底是「a photo of a [class]」还是「a [class] photo」？对于特定任务（例如食物分类或是卫星图像识别），如何添加符合语境的上下文（context）？本文提出的提词优化器 CoOp（中文名：琥珀）能够给你答案。

目标检测的「尽头」是语言建模？近日，Hinton 团队提出了全新目标检测通用框架 Pix2Seq，将目标检测视作基于像素的语言建模任务，实现了媲美 Faster R-CNN 和 DETR 的性能表现

实时总结，总结过往的成功与不足；这可以是自己的经验，也可以是别人的经验，当我们不会或迷茫时，从别人那或许能收获到更多，正如“一语惊醒梦中人”。在我看完知乎@金瀛若愚（微软算法工程师）的工作总结后，我对于标题这个问题有了更多的理解和帮助。今天的文章，就与大家分享，实时总结不断提高！

计算机视觉需要图像预处理，比如特征提取，包括特征点，边缘和轮廓之类。以前做跟踪和3-D重建，首先就得提取特征。特征点以前成功的就是SIFT/SURF/FAST之类，现在完全可以通过CNN模型形成的特征图来定义。

来自谷歌的研究者提出了一种基于生成对抗网络 (GAN) 的神经视频压缩方法，该方法优于以前的神经视频压缩方法，并且在用户研究中与 HEVC 性能相当。

在刚刚结束的 IJCAI 2021 大会上，「深度学习模型知识产权保护国际研讨会(DeepIPR-IJCAI’21)」正式举行，这场研讨会由微众银行、马来亚大学、香港科技大学、上海交通大学共同主办。

可以更准确地捕获对象类的形状和外观，然后再描述如何更新网络权重以实现颜色和形状编辑效果的神经网络架构。

来自 DeepMind 的研究者提出了用于强化学习的 CoBERL 智能体，它结合了新的对比损失以及混合 LSTM-transformer 架构，可以提高处理数据效率。实验表明，CoBERL 在整个 Atari 套件、一组控制任务和具有挑战性的 3D 环境中可以不断提高性能。

本文收集文本检测与识别相关论文，包含任意形状文本检测、场景文本识别、手写文本识别、文本分割、文本图像检索、视频文本识别等，有趣的方向很多，共计 17 篇。

利用神经网络进行风格迁移是一项非常常见的任务，方法也很多，比如基于优化和基于 RL 的方法。最近，来自百度 VIS 团队的研究者提出了一种基于 Transformer 的风格迁移框架，速度快于基线方法，实现效果也不错。然而，研究遭到了网友的质疑，这是为什么呢？

王言治教授团队与美国色拉布公司（Snap Inc.）首次提出了一种GAN剪枝的方法，除了使压缩时间减少了四个数量级以外，还在远低于原始计算量的条件下，获得来比原有模型更好的性能，并且实现了更高的生成图片质量。论文已被CVPR 2021收录。

从训练与推理效率来看，清华和微软亚研提出的 Fastformer 无愧于「fast」。