【20210416期AI简报】微软分层ViT模型开源、 DIY一只“眼睛”摄像头

VIT模型个人笔记 前言 VIT模型即vision transformer,其想法是将在NLP领域的基于自注意力机制transformer模型用于图像任务中,相比于图像任务中的传统的基于卷积神经网络模型,VIT模型在大数据集上有着比卷积网络更强的效果和更节约的成本。 transformer transformer模型 ... 阅读详情

导读:本期为 AI 简报 20210416 期,将为您带来 7 条相关新闻~

本文一共 2300 字,通篇阅读结束需要 5~8 分钟

1. 训练AI来玩CS反恐精英!清华朱军与剑桥博士后的这项研究太燃了 | 童年回忆 | AI科技评论

Image

论文链接:https://arxiv.org/pdf/2104.04258.pdf

Fire in the hole !

在计算机内卷的时代当不了CS人才难道还当不了一名CS人才吗? 不知道你是不是这样想,我是这样想的

继 AI 在游戏界的一系列出色表现之后,如今 AI 终于对射击类游戏下手了 !

近日,博士毕业于剑桥大学的Tim pearce与他的清华大学博士后导师朱军教授联合为《反恐精英:全球攻势》开发了一个AI 游戏智能体 —— CSGO 。

据了解,与其他游戏AI不同,CSGO没有使用API,而是采用了一种行为克隆(Behavioural Cloning)的新型解决方案,即从在线服务器上抓取大量人类游戏视频进行对战训练。

目前相关论文《基于大规模行为克隆的反恐精英死亡竞赛》已提交至arXiv上面。论文中指出,CSGO所使用的数据集约有400万帧,与ImageNet大小相当,这一规模比之前在FPS游戏中的模仿学习大了一个数量级。

开发一个 AI 智能体来进行CSGO完全竞争模式的挑战——研究人员认为这篇论文是迈向AI里程碑的一步。

遗憾的是,该项目暂未开源。

2. AI一键去纹身,几秒钟让你看见明星「真面目」 | 机器之心

Github:

https://github.com/vijishmadhavan/SkinDeep

有些时候,我们需要把一些人身上的纹身覆盖掉,以避免引人效仿。有的时候人们只是单纯地好奇,想知道一些大明星如果没有纹身会是什么样子。来自印度的机器学习研究者 Vijish Madhavan 最近开源的一个机器学习工具 SkinDeep 满足了我们的需求。

有人会问,为什么不把纹身直接 PS 掉?Photoshop 可以产生非常好的效果,但问题是使用 Photoshop 需要专业知识,如果用 PS 处理纹身的话,你可能需要花费几个小时的时间去修饰整个图像。

这一项目是由 Fast.AI 库构建的,你需要安装 fastai 1.0.61 版(及其依赖库),以及 PyTorch 1.6.0,不支持更高的版本。

尝试这一项目的最快方法就是在 Colab 上:

  • https://colab.research.google.com/github/vijishmadhavan/SkinDeep/blob/master/SkinDeep.ipynb

它的输出限制为 500 像素。

3. DIY一只“眼睛”摄像头看自己工作,能眨眼睛皱眉头,还能“撸” | 大数据文摘

官网:

https://marcteyssier.com/projects/eyecam/

开源链接:

https://marcteys.github.io/eyecam/

最近,一位名叫Marc Teyssier的研究员就和他的团队在德国萨尔大学的人机交互实验室里,开发了这样一种不可思议的摄像头——Eyecam。一只肉嘟嘟、可以眨巴眼睛、还能皱眉头的“眼睛”。

不仅有眉毛、睫毛,连眼睛周围的细纹都清晰可见,个头儿也跟真实的眼睛差不多,整体大概是一个人的拳头大小。

除了看起来逼真,在放出的一段视频中,还看到它的“运动”状态-眨眼、扫视

甚至还可以情绪激动的“皱起眉头”。

项目已开源,想做一只属于自己的眼睛吗?

目前,这一项目的全部内容也已经在github上开源,主要使用到了以下几款软硬件的设计:

  • 固件:Arduino程序,用于控制用于移动眼球,眼睑和眉毛的6个伺服电机。它经过优化,可以在Arduino Leonardo Pro Micro上运行。

  • Raspberry Pi作为相机:如何将Raspberry Pi Zero + Pi Cam转换为标准USB相机

  • Unity Control界面:附加界面,以视觉方式控制电机并运行计算机视觉处理

4. EfficientNetV2:更小,更快,更好的EfficientNet | AI公园

论文:https://arxiv.org/pdf/2104.00298.pdf

代码:

https://github.com/google/automl/efficientnetv2

EfficientNets已经成为高质量和快速图像分类的重要手段。它们是两年前发布的,非常受欢迎,因为它们的规模让它们的训练速度比其他网络快得多。

几天前谷歌发布了EfficientNetV2,在训练速度和准确性方面都有了很大的提高。

通过渐进学习,我们的EfficientNetV2在ImageNet和CIFAR/Cars/Flowers数据集上显著优于之前的模型。

通过在相同的ImageNet21k上进行预训练,我们的EfficientNetV2在ImageNet ILSVRC2012上实现了87.3%的top1精度,在使用相同的计算资源进行5到11倍的训练时,比最近的ViT的准确率高出2.0%。

5. 霸榜多个CV任务,开源仅两天,微软分层ViT模型收获近2k star | 机器之心

论文链接:

https://arxiv.org/pdf/2103.14030.pdf

项目地址:

https://github.com/microsoft/Swin-Transformer

屠榜各大 CV 任务的微软 Swin Transformer,近日开源了代码和预训练模型。

不久前,微软亚研的研究者提出了一种通过移动窗口(shifted windows)计算的分层视觉 Transformer,他们称之为 Swin Transformer。相比之前的 ViT 模型,Swin Transformer 做出了以下两点改进:

其一,引入 CNN 中常用的层次化构建方式构建分层 Transformer;

其二,引入局部性(locality)思想,对无重合的窗口区域内进行自注意力计算。

Swin Transformer 论文公开没多久之后,微软官方于近日在 GitHub 上开源了代码和预训练模型,涵盖图像分类、目标检测以及语义分割任务。上线仅仅两天,该项目已收获 1900

6. Kaggle竞赛中使用YoloV5将物体检测的性能翻倍的心路历程 | 强烈推荐 | AI公园

英文原文:

https://towardsdatascience.com/a-journey-of-building-an-advanced-object-detection-pipeline-doubling-yolov5s-performance-b3f1559463bf

Github:

https://github.com/mostafaibrahim17/VinBigData-Chest-Xrays-Object-detection-

作者在kaggle比赛中从建立基线到一步一步的优化过程,最终将performance提升了一倍,非常好的竞赛经验总结文章。

我花了三个月的时间深入研究物体检测。我尝试了很多方法,从实现最先进的模型,如YoloV5、VFNets、DETR,到将目标检测模型与图像分类模型融合以提高性能。在比赛的早期阶段,我努力提高基准模型的分数,但我找不到有用的在线资源,这就是我写这篇文章的原因。我想带你们踏上一段从头到尾的旅程,简要地向你们展示我所走的每一步,我的成绩几乎翻了一倍。

官方的竞赛指标是(mean) Average Precision,这是最常用的目标检测指标之一。为了向你展示每一步的进步,我将在旁边加上它的分数。

  1. 第一步是建立一个简单的基线,0.126 mAP

  2. 去掉一个输入类别!0.143 mAP (+13%)

  3. 增加训练和推理图像的分辨率,0.169 mAP (+18%)

  4. 融合EfficientNet和YoloV5,0.196 mAP (+16%)

  5. 加权框融合(WBF)后处理,0.226 mAP (+15%)

  6. 用5折交叉验证使用WBF融合,0.256 mAP (+13%)

  7. 我尝试过的其他的东西,但是没有成功

7. 无需卷积,完全基于Transformer的首个视频理解架构TimeSformer出炉 | 机器之心

论文链接:

https://arxiv.org/pdf/2102.05095.pdf

TimeSformer 是首个完全基于 Transformer 的视频架构。无需卷积,训练速度快、计算成本低。

近年来,Transformer 已成为自然语言处理(NLP)领域中许多应用的主导方法,包括机器翻译、通用语言理解等。

TimeSformer 在一些具有挑战性的动作识别基准(包括 Kinetics-400 动作识别数据集)上实现了最佳的性能。此外,与 3D 卷积神经网络(CNN)相比,TimeSformer 的训练速度大约快了 3 倍,而推断所需的计算量不足其十分之一。

此外,TimeSformer 的可扩展性使得在更长的视频片段上训练更大的模型成为可能。这为 AI 系统理解视频中更复杂的人类行为打开了大门,对需要理解人类复杂行为的 AI 应用来说是极为有益的。

无需卷积,训练速度快、计算成本低。

其他

半导体行业DRAM深度研究报告:存储芯片研究框架 | 附完整报告下载

开发板还能这么用?美国学者用Jetson Nano支持便携式AI假肢,控制每一根手指

马斯克脑机接口最新突破:猴子用意念玩游戏!

考驾照选择 AI 教练,心态稳定不会骂人

英伟达推出首个CPU!预计2023年正式投入使用


???????????? 点击阅读原文报名线下沙龙

Mann-Kendall检验全解析:从原理到11种变体及Python实现 本文全面解析Mann-Kendall检验,从基础原理到应对自相关、季节性等复杂数据的11种关键变体,如Hamed-Rao修正、季节性MK和趋势自由预白化(TFPW)。详细阐述各方法的适用场景与数学原理,并提供完整的Python实战代码,帮助研究者针对不同数据特性选择最稳健的趋势分析方法。 阅读详情

相关推荐

CentOS 环境 sngrep 安装及使用

在呼叫中心类应用开发过程中,经常需要对 SIP 信令抓包,分析排查问题。通常抓包的工具非常多样,如 Wireshark、tcpdump、ngrep 等都是可选项,但是针对 SIP 信令的抓包,sngrep 则更为好用。因为 sngrep 不仅提供了图形界面,还会将一通会话的 SIP 信令关联汇总,非常直观执行以下命令下载 的相关依赖库 1.2 添加 sngrep 的源并导入 执行下面的命令新增一个源仓库配置文件 然后在该文件中写入以下配置内容 执行命令导入源仓库的公钥 1.3 安装 sngrep

谈谈1974 8153

【Transformer系列】深入浅出理解ViT(Vision Transformer)模型

【Transformer系列】深入浅出理解ViT(Vision Transformer)网络模型

IT菜鸟 6万+

C++继承与多态 - 继承多态原理01

C++继承多态原理讲解

大秦坑王的专栏 2980

Visual Transformer (ViT)模型详解

ViT是2020年Google团队提出的将Transformer应用在图像分类的模型,虽然不是第一篇将transformer应用在视觉任务的论文,但是因为其模型“简单”且效果好,可扩展性强(scalable,模型越大效果越好),成为了transformer在CV领域应用的里程碑著作,也引爆了后续相关研究。

十年以上架构设计经验,专注于软件架构和人工智能领域,对机器视觉、NLP、音视频等领域都有涉猎 9万+

谷歌(Google) Pixel 8/9 Pro(xl)如何获取 root 权限

谷歌(Google)Pixel8/9Pro(xl)等系列手机破解后,会在你的init_boot.img同路径生成一个magisk_patched.img,把这个文件拷贝到adb目录下,稍后还得把它刷回手机,这样手机才能获得Root权限,因为安卓14、15以后的内核结构调整,和Pixel7及以下的6、5、4、3、2等系列手机破解稍微不一致。因为ROOT权限的获取,需要使用ROM中的内核文件,个人强烈建议在官网下载ROM,直接刷最新版,其他地方的ROM如果没有校验码,请自行斟酌是否使用。

bugsycrack的博客 3494

OpenCompass实战:从零部署大模型评测平台,量化模型能力选型

在大模型技术选型与评估中,客观、可量化的评测体系是工程实践的关键。其核心原理在于通过标准化的数据集、统一的评测方法与自动化流程,将主观的模型体验转化为可比较的指标数据。这种评测框架的技术价值在于解决了模型能力评估的模糊性问题,为开发者提供了模型选型、效果对比与迭代优化的科学依据。典型的应用场景包括对比不同开源模型在代码生成、逻辑推理等特定任务上的性能,或是评估微调后模型在业务数据集上的提升效果。OpenCompass作为开源的大模型全能力评测平台,正是这一理念的工程化实现。它通过模块化的四层流水线架构和配置

weixin_28725037的博客 632

vit网络模型简介

无

m0_63156697的博客 1万+

高项备考论文:规划绩效域

高项备考论文:规划绩效域

liuxu324的博客 1130

详解VIT(Vision Transformer)模型原理, 代码级讲解

详解VIT(Vision Transformer)模型原理, 代码级讲解

qq_43449643的博客 1万+

【系统架构设计师-2025上半年真题】综合知识-参考答案及详解(75题完全回忆版)

【系统架构设计师-2025上半年真题】案例分析-参考答案及部分详解

数据知道的博客 1万+

VSCode 配置 Claude Code 插件的 4 步安装法与 3 类常见报错解决方案

介绍 VSCode 中 Claude Code 插件的 4 步可靠安装流程与 3 类高频报错(上下文丢失、认证失败、加载卡死)的根因分析和精准修复方案,聚焦文件上下文捕获机制、请求头注入要求及缓存失效逻辑,提供可验证的命令行操作与日志定位方法。

weixin_28728443的博客 501

【计算机视觉】Vision Transformer (ViT)详细解析

【计算机视觉】Vision Transformer (ViT)详细解析

Danger的博客 1万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

CVPR2023 | SparseViT: 推理加速1.5倍,有效处理高分辨率图像!

作者| 派派星 编辑| CVHub点击下方卡片,关注“自动驾驶之心”公众号ADAS巨卷干货,即可获取点击进入→自动驾驶之心【全栈算法】技术交流群Title: SparseViT: Revisiting Activation Sparsity for Efficient High-Resolution Vision TransformerPaper: https://arxiv.org/pdf...

CV_Autobot的博客 1412

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【计算机视觉】Visual Transformer (ViT)模型结构以及原理解析

【计算机视觉】Visual Transformer (ViT)模型结构以及原理解析

wzk4869的博客 9787

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

ViT网络模型

一、背景介绍: 自2017年Google提出的Transformer结构以来,迅速引发一波热潮,最初《Attention is all you need》这篇论文的提出是针对于NLP领域的,通过自注意力机制代替传统处理序列数据时采用的循环神经网络结构,不仅实现了并行训练,提升了训练的效率,同时也在应用中取得很好的结果。之后的一段时间中,各种基于Transformer改进的网络结构涌现出来,在不同领域中都达到SOTA的效果。 2020年Google又提出了《AN IMAGE IS WORTH 16X16 WO

Yore_的博客 1万+

ViT(Visual Transformer)最通俗易懂的讲解(有代码)

深入浅出,通俗易懂理解ViT(Vision Transformer)网络模型和代码。本文详细介绍了Google在ICLR上发布的VIT模型,它是首个在计算机视觉领域超越CNN和RNN的Transformer模型。文章重点阐述了VIT的结构,包括图像特征嵌入、Transformer编码器(含多头注意力机制)、MLP分类模块,以及模型的亮点和整体架构。

2301_77653781的博客 2万+

一文搞懂ViT模型

ViT(Vision Transformer) 是一种将 Transformer 模型用于计算机视觉任务中的创新架构。ViT 只使用了 Transformer 的编码器 部分进行特征提取和表征学习。 核心思想是将传统的(CNN)的卷积操作替换为 Transformer 的注意力机制,借鉴 Transformer 模型在自然语言处理(NLP)中的成功经验,用于图像分类任务。

A1233242的博客 1828

【多模态】ViT模型技术学习

最近多模态模型特别火,一起从头学习ViT和Transformer!本文记录一下学习过程,所以是自上而下的写,从ViT拆到Transformer。

威化饼的一隅 4620

Vision Transformer (ViT) 模型详解

以上就是 VIT 模型的大致内容。

qq_56402998的博客 2052

【AI模型学习】ViT——开启CV界的Tranformer时代

关于ViT

wwl412095144的博客 1507

ViT模型可解释性:注意力可视化完全指南

你是否曾好奇Vision Transformer(ViT)如何"看懂"一张图片?为什么它能准确识别出画面中的物体?本文将带你深入探索ViT模型的注意力机制,通过可视化技术揭开AI视觉识别的神秘面纱。读完本文,你将能够: - 理解ViT模型中注意力机制的工作原理 - 使用项目提供的工具生成注意力热力图 - 分析不同层注意力权重的分布特征 - 通过可视化结果优化模型性能 ## ViT模型基础架构 ...

gitblog_00250的博客 1462

ViT 模型介绍(二)——模型架构

ViT 是一个基于 Transformer 架构的计算机视觉模型,它将 Transformer 直接应用于图像分类任务,跳脱了传统卷积神经网络(CNN)的框架ViT的核心思想是将图像转化为一维的序列数据,并将其输入到Transformer中进行处理,最终进行分类。以下是ViT模型的详细架构解析

金陵城中夜将沉的博客 4698

Vision Transformer (ViT)模型与代码实现(PyTorch)

文章目录摘要一. Visual Transformer (ViT)模型1.1 ViT模型整体结构1.2小结二. VIT 代码实现PyTorch版本 摘要 一. Visual Transformer (ViT)模型 论文源地址:https://arxiv.org/abs/2010.11929 参考博客地址:VIT详细讲解 1.1 ViT模型整体结构 ViT模型是基于Transformer的模型在CV视觉领域的开篇之作,本篇将尽可能简洁地介绍一下ViT模型的整体架构以及基本原理。ViT模型是基于Transfor

weixin_44790306的博客 1万+

视觉常用Backbone大全:VisionTransformer(ViT)

视觉Backbone之ViT

CITY_OF_MO_GY的博客 3035

ViT 模型介绍(一)——综述

机器人所采用的大模型均为多模态大模型,输入至少为视觉图像及末端笛卡尔坐标系位姿,因此 ViT 算是基础模型之一在计算机视觉领域,是由谷歌团队于2020年提出的一个革命性研究成果,它成功挑战了自2012年AlexNet提出以来,卷积神经网络(CNN)在视觉任务中的主导地位ViT 的核心创新在于将 Transformer 模型直接应用于图像处理任务,彻底打破了传统计算机视觉中依赖卷积神经网络的惯例ViT的引入对计算机视觉与自然语言处理的融合起到了催化作用

金陵城中夜将沉的博客 2539

VIT模型简介

vit 总结

qq_42301955的博客 2429
上一篇: 【ART-Pi公开课直播】基于ART-Pi+RT-Thread的云音乐播放器
下一篇: ART-Pi SDK v1.2.0 正式发布 ,更多 DEMO,欢迎体验
RT-Thread物联网操作系统
博客等级 码龄6年 2万+粉丝 392原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值