迈微AI研习社 · 号主

在机器翻译、图像识别等任务上表现SOTA！性能优于Performer、ViT和Transformer-XL等网络。

广理论，重实践！ 本专栏不是算法公式推导文章！本专栏编写总结了迈微研习社对于人工智能学习从入门到进阶的学习路线，分类整理了机器学习算法原理讲解及python实现章节，深度学习进阶理论（包括transfer、bert、attention等），以及计算机视觉领域中的交叉模型实战。不侧重于算法原理的公式推导，更着重于从实际项目中引领学习路线，培养学习兴趣，从项目中遇到的问题着手原理的解答。概述分类讲解机器学习算法原理，深度解析决策树、贝叶斯算法、逻辑回归、梯度下降、集成学习、k最近邻、支持向量机等，并给.

Transformer 有可能替代 CNN 吗？现在下结论还为时过早。

前几天刚跟马斯克吵完架的Gary Marcus，又双叒叕跟人吵起来了，这次的吵架对象是Yann LeCun。一向喜欢给深度学习泼冷水的Marcus，在今天发帖谈了谈与LeCun的「旧账」和「新仇」，并给了LeCun一个白眼：事......

随着该领域的成熟，图神经网络论文的数量也在增长，作者仔细研究了一些科学应用，并收集了几篇发表在Nature上的GNN论文。我们周围的很多信息都可以用图表来表示。一个例子是城市道路网络，其中交叉口是节点，道路是链接。另一个是调控网络，它描述了不同基因如何相互作用以增强或抑制某些细胞功能。图神经网络（GNN）可以处理基于图的信息以进行预测。在在 2......

2012年，AlexNet横空出世，推动深度学习快速发展，带动AI的第三波浪潮，转眼已经十年弹指一挥间。https://subscription.packtpub.com/book/data...

时隔五年，Transformer 的八位作者仅有一位还留在谷歌。如果你在一家大厂做出了一份行业里程碑式的研究，那么接下来的职场生涯你会怎么走？继续留在这家大厂？换一家待遇更好的大厂？还是创业或加入有前景的创业公司？Transformer（出自论文《Attention Is All You ......

2021年10月25日，特斯拉市值站上万亿美金，成为美股第五家市值破万亿的企业，几乎超过美股全部主要车企市值的总和。特斯拉在资本市场的成功，刺激着投资者的神经，也促使市场再一次将视野聚焦在自动驾驶领域，进一步思考自动驾驶技术路线的发展方向。

Meta AI 让儿童手绘「活」了起来。你有没有想过将一张儿童绘画制作成动画？就如下图，儿童能够绘制出独特和富有创造力的人物和动物：长着双脚的星星、腿超级长的鸟……

在炼丹过程中，为了减少训练所需资源，MLer有时会将大型复杂的大模型“蒸馏”为较小的模型，同时还要保证与压缩前相当的结果。这就是知识蒸馏，一种模型压缩/训练方法。不过随着技术发展，大家也逐渐将蒸馏的对象扩展到了数据集上。

Facebook新作MaskFeat，该工作的ViT-B在ImageNet 1K上的准确率达到了84.0%，MViT-L在Kinetics-400上的准确率达到了86.7%，一举超越了MAE，BEiT和SimMIM等方法。

在无法获取到原始训练数据的情况下，你可以尝试一下这种新型蒸馏算法 FastDFKD，数据合成与现有的生成方法相比，可以实现 10 倍的加速，与非生成方法相比，甚至可以达到 100 倍以上的加速。

与上一代NanoDet相比，在仅增加1毫秒多的延时的情况下，精度提升了30%。与YOLOv5-n, YOLOX-Nano等其他轻量级模型相比，在精度和速度上也都高了不少！同时NanoDet-Plus改进了代码和架构，提出了一种非常简单的训练辅助模块，使模型变得更易训练！同时新版本也更易部署，同时提供ncnn、OpenVINO、MNN以及安卓APP的Demo！

NLP的新秀prompt，最近着实有点火。上周针对CoOp写过一篇分享，视觉-语言表征学习CLIP，这周继续介绍视觉语言模型，NLP-CV结合，突破感知到认知的飞跃！

你是否也曾迷惑于「离群检测，异常检测，新类检测，开集识别，分布外检测」之间错综复杂的关系？你是否也想要解决开放世界的问题却不知道从哪个任务入手？不知道利用什么方法解决问题？这篇最新综述将让你对开放世界领域有全新的认识！

努力打造GitHub最好的计算机视觉中文学习媒介，结合图示、代码和HTML的交互式学习平台。节选第23章-轻量级网络浅析。

CMU 助理教授朱俊彦团队的最新研究将 GAN 玩出了花，仅仅使用一个或数个手绘草图，即可以自定义一个现成的 GAN 模型，进而输出与草图匹配的图像。相关论文已被 ICCV 2021 会议接收。

今天跟大家分享的论文是MicroNet，它是一种高效的卷积神经网络具有极低的计算成本。在边缘设备上非常需要这样的低成本网络，但是通常会遭受明显的性能下降。

最新的YOLO系列工作：YOLOX开源啦！强如旷视，又为Detection领域带来了新工具！

本学习资源以计算机视觉的发展历程和自顶向下的学习过程为核心，为读者提供一个 人人可学习计算机视觉的开放平台。我们围绕这样的组织逻辑：什么是计算机视觉？计算机视觉解决什么问题，都是怎么解决的？传统方法——以卷积神经网络为中心的神经网络；现代方法——Transformer、强化学习、迁移学习、生成对抗等。各种方法是如何实现的，用到了什么框架？在本资源中，这些问题都将会给予解决。

很多3D人体模型都很强大，但总是难免“裸奔”。像要创造出真正的人类“化身”模型，衣服和头发不可或缺。但这些元素的精确3...

在最近放出的CVPR 2021论文中，微软的研究者提出了多重注意力机制统一目标检测头方法Dynamic Head。在Transformer骨干和额外数据加持下，将COCO单模型测试取得新纪录：60.6 AP。

一种结合了代码、数据集和HTML的数字学习媒介！让计算机视觉可平易近人，教会你 概念、场景 和 程序。

一个名为 MobileStyleGAN 的新架构大大减少了基于样式 GAN 的参数量，降低了计算复杂度。近年来在生成图像建模中，生成对抗网络（GAN）的应用越来越多。基于样式（style-based）的 GAN 可以生成不同层次的细节，大到头部形状、小到眼睛颜色，它在高保真图像合成方面实现了 SOTA，但其生成过程的计算复杂度却非常高，难以应用于智能手机等移动设备。

VAE 模型是一种有趣的生成模型，与GAN相比，VAE 有更加完备的数学理论（引入了隐变量），理论推导更加显性，训练相对来说更加容易。VAE 可以从神经网络的角度或者概率图模型的角度来解释。

目前已经有基于Transformer在三大图像问题上的应用：分类（ViT），检测（DETR）和分割（SETR），并且都取得了不错的效果。那么未来，Transformer有可能替换CNN吗，Transformer会不会如同在NLP领域的应用一样革新CV领域？后面的研究思路可能会有哪些呢？敬请期待下一篇文章给出解答。

当前，卷积神经网络（CNN）和基于自注意力的网络（如近来大火的 ViT）是计算机视觉领域的主流选择，但研究人员没有停止探索视觉网络架构的脚步。近日，来自谷歌大脑的研究团队（原 ViT 团队）提出了一种舍弃卷积和自注意力且完全使用多层感知机（MLP）的视觉网络架构，在设计上非常简单，并且在 ImageNet 数据集上实现了媲美 CNN 和 ViT 的性能表现。

本文提出一种新的激活函数ACON (activate or not)，可以自适应地学习激活与否。ReLU是最常见的激活函数，最近NAS搜到的Swish在各种SOTA网络结构中逐渐取代ReLU。有趣的是，我们发现虽然两者形式看起来很不一样，但Swish可以解释为ReLU的一种平滑近似。基于这个发现，本文进一步分析ReLU的一般形式Maxout系列激活函数，从而得到Swish的一般形式、简单且有效的ACON激活函数。

循环神经网络RNN结构被广泛应用于自然语言处理、机器翻译、语音识别、文字识别等方向。本文主要介绍经典的RNN结构，以及RNN的变种（包括Seq2Seq结构和Attention机制）。希望这篇文章能够帮助初学者更好地入门。

在NLP领域transformer已经是成功地取代了RNN（LSTM/GRU），在CV领域也出现了应用，比如目标检测和图像加注，还有RL领域。这是一篇谷歌2020年9月份在arXiv发表的综述论文 “Efficient Transformers: A Survey“，值得读读。

人工智能如何在驾驶员辅助系统、智能手机以及其他移动设备上高效地运行，是研究人员们一直关注的问题。近日，奥地利格拉茨技术大学（TU Graz）的两位研究人员找到一种简单的将人工神经网络（ANN）转换为脉冲神经网络（SNN）的算法，神经元只需发出相对较少的信号就可以完成图像分类，并且分类精度非常接近当前最先进的图像分类技术水平。

吴恩达在推特上展示了一份由 TessFerrandez 完成的深度学习专项课程信息图，这套信息图优美地记录了深度学习课程的知识与亮点

近期必读的6篇AI顶会WWW 2020 图神经网络GCN 相关论文导读1. TaxoExpan: Self-supervised Taxonomy Expansion with Position-Enhanced Graph Neural Network2. Structural Deep Clustering Network3. MAGNN: Metapath Aggregated Graph...

科研路上我们往往会读到让自己觉得想法很惊艳的论文，心中对不同的论文也会有一个排名。

人工智能 AI 正在加快速度从云端走向边缘，进入到越来越小的物联网设备中。而这些物联网设备往往体积很小，面临着许多挑战，例如功耗、延时以及精度等问题，传统的机器学习模型无法满足要求，那么微型机器学习又如何呢？

从 Fortran 编译器到 arXiv 预印本库、AlexNet，这些计算机代码和平台改变了科学界。

Home Page | English | 中文 UFund, Me支付宝智能基金理财助理帮你健康理财决策，提高理财收益 UFund, an Alipay Fund Assistant Alipay Smart Fund Assistant helps you make healthy financial decisions and increase financial returns! Why UFund ?.

买了心仪的漫画全集，却又苦于看不懂上面的文字，翻译成了一大难题。对于这个令人头疼的问题，来自 Mantra 公司、雅虎日本和东京大学的研究者帮你解决了。他们提出了一个全自动漫画翻译系统，可将漫画中的文字翻译成英文和中文。

在学习了有关深度学习的理论课程之后，很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始，告诉你如何解决项目开发中会遇到的各类问题。

​