【20210409期AI简报】INT8加速训练方案、用树莓派打造的寄居蟹机器人

int8量化学习 https://zhuanlan.zhihu.com/p/58182172 阅读详情

导读:本期为 AI 简报 20210409 期,将为您带来 8 条相关新闻,今日二候田鼠化驾~

本文一共 2300 字,通篇阅读结束需要 5~8 分钟

1. 只要你一句话,马斯克就得留扫把头,项目已开源丨Adobe等出品 | 量子位

项目地址:
https://github.com/orpatashnik/StyleCLIP

论文地址:
https://arxiv.org/abs/2103.17249

现在,Adobe不想让你用手P图了——动动口就行。

只需要你说一句话,计算机就能P出你想要的效果。

例如,说出想要的发型,马斯克就会立刻被剃头:“Hi-top Fade(扫把头),变!

甚至还能直接改变人样,给小李子变出胡子、金发后,变成特朗普!

简直是手残P图玩家的福音。

没错,这是来自Adobe、希伯来大学、特拉维夫大学的新操作,只需要一句话,就能让计算机“修”出你想要的图片。

现在,项目已经开源。

2. 阿里达摩院提出:首个精度无损的INT8加速训练方案 | AAAI 2021 |CVer

论文:

https://arxiv.org/abs/2102.04782

本文是阿里巴巴达摩院视觉实验室潘攀博士团队在量化加速训练方面的一次探索。

针对INT8计算快的特点,研究者尝试在卷积网络中,用INT8计算替代传统的浮点计算来加速训练过程(包括前向+反向)。

通过对反向梯度的深入分析,分别提出了

  • Gradient Vectorized Quantization

  • Magnitude-aware Clipping Strategy

两大策略来实现INT8的无损提速。

在ImageNet,CIFAR,COCO等数据集上,几乎做到了精度无损。

结合TensorCore,可以比FP16快18%,比FP32快200%。

3. 树莓派驱动,MIT打造的寄居蟹机器人「能做任何事」 | 机器之心

Image

论文链接:

https://dam-prod.media.mit.edu/x/2020/10/21/HERMITS_UIST2020_ACM.pdf

视频地址:

https://v.qq.com/x/page/t3234z6bsc1.html

如何能让动作有限的机器人掌握无数种能力?

MIT 的研究者从寄居蟹这种生物中汲取了灵感,设计出了一种多功能机器人——HERMITS。这种机器人分为两个部分——能自主移动的小方块和无法自主移动的外壳。

每换一种外壳,小机器人就能切换一种任务模式.

如今,研究者已经可以借助 14 台树莓派同时控制 70 多个机器人。

使用树莓派或许不是最好的解决方案,但却可以降低 HERMITS 的成本,同时增加其易用性。

正如 MIT 的 demo 所示,这种寄居蟹机器人可以承载的想象空间是无限的。

项目未开源

4. 修图动口不动手,有人把StyleGAN和CLIP组了个CP,能听懂修图指令那种 | 机器之心

论文链接:

https://arxiv.org/pdf/2103.17249.pdf

项目链接:

https://github.com/orpatashnik/StyleCLIP

StyleGAN+CLIP=StyleCLIP

有人认为,自然语言将是软件的下一代接口:你有什么需求,「告诉」它就行了,剩下的不用你管。这种「动动嘴皮子就能把事儿办了」的场景似乎也越来越多。

在最近的一篇论文中,来自希伯来大学、特拉维夫大学、Adobe 等机构的研究者提出了一种名为「StyleCLIP」的模型,几乎可以让你动动嘴皮子就把图修了。

这里用「几乎」是因为研究者给出的接口其实还是文字版的。如下图所示,如果你想让一只猫看起来可爱一点,只需要输入「cute cat」,模型就能够把猫的眼睛放大,同时改变其他影响其可爱值的特征。

利用这个界面,你还可以改变图中人物的发型、性别等特征。

但这种趋势也存在一些问题,比如眼下的 AI 能不能完全听懂人话呢?或者人类需要创造一种全新的语言用于跟 AI 沟通?

也许在未来,程序员不再敲代码,而是要输入一些类似口语却又不是口语的文字。

5. MMOCR来了!OpenMMLab 全流程的文字检测识别理解工具箱 | CVer

本文作者:OpenMMLab | 来源:知乎

https://zhuanlan.zhihu.com/p/362998190

MMOCR:

https://github.com/open-mmlab/mmocr

号外号外,OpenMMLab 有新成员加入咯~

“语言使人类别于禽兽,文字使文明别于野蛮,教育使先进别于落后”

我们在 OpenMMLab 项目中开源了 MMOCR。

这是一个专注于文字检测,识别以及下游任务如关键信息提取的工具箱,它目前包含了10多种常见的算法。

MMOCR 具有以下特点:

  • 全流程:支持文字检测、文字识别以及其下游任务,比如关键信息提取等。

  • 多模型:我们实现了 10 余种优秀算法。文字检测算法包括单阶段检测算法和双阶段检测算法;文字识别包含规则文字识别和非规则文字识别算法;关键信息提取包含基于图模型的关键信息提取算法。

  • 模块设计:我们使用统一框架和模块化设计实现了各个算法模块。

  • 公平对比:现有文字检测识别方法,往往使用不同的训练数据,预训练模型,数据增强方法,网络 backbone,优化器以及学习率策略。

  • 快速入门:我们统一了常见的学术数据集合的标注文件格式,并提供了已经处理好的标注文件。同时我们提供了丰富的预训练模型,benchmark 和详细的文档,帮助大家快速上手。

值得强调的是,现在的 MMOCR 不仅仅是研究导向的框架,还是一个可以用于入门,教学,以及工业实际生产的框架。

我们逐步会加入更多的算法以及多语言模型,我们也欢迎大家贡献代码以及模型。

6. 新手手册:Pytorch分布式训练 |  夕小瑶的卖萌屋

文 | 花花@机器学习算法与自然语言处理
单位 | SenseTime 算法研究员

文中所有教学代码和日志见:
https://link.zhihu.com/?target=https%3A//github.com/BIGBALLON/distribuuuu/tree/master/tutorial

文中提到的框架见:
https://link.zhihu.com/?target=https%3A//github.com/BIGBALLON/distribuuuu

目录

  • 0X01 分布式并行训练概述

  • 0X02 Pytorch分布式数据并行

  • 0X03 手把手渐进式实战

    A. 单机单卡

    B. 单机多卡DP

    C. 多机多卡DDP

    D. Launch / Slurm 调度方式

  • 0X04 完整框架 Distribuuuu

  • 0X05 Reference

7. 微信正在用的深度学习框架开源!支持稀疏张量,基于C++开发 | 量子位

项目地址:
https://github.com/Tencent/deepx_core

微信正用着的深度学习框架,现在你也可以上手试一试了。

就在最近,腾讯把这个名叫deepx_core的深度学习基础库正式对外开源。

相比于PyTorch、TensorFlow等流行深度学习框架,这位选手不仅具有通用性,还针对高维稀疏数据场景进行了深度优化。

也就是说,对于开发搜索、推荐、广告这样的深度学习应用,会更加友好易用。

简单介绍一下项目背后的开发团队。

deepx_core的开发者来自微信看一看算法平台团队。

据介绍,在正式开源之前,deepx系列机器学习项目已经在腾讯内部经过了3年多的迭代。

微信看一看、微信搜一搜、微信支付、微信表情、微信视频号、微信小程序、微信读书、QQ音乐、应用宝、腾讯新闻、腾讯课堂、腾讯黑产打击等排序/召回场景中,都已经有deepx_core及其衍生项目的落地。

8. 两万字总结《C++ Primer》要点 |  Jacen的技术笔记

知乎:
https://zhuanlan.zhihu.com/p/343271809

对于想要入门C++的同学来说,

《C++ Primer》是一本不能错过的入门书籍,

它用平易近人的实例化教学激发学生的学习兴趣,

帮助学生一步步走进C++的大门。

在本文中,作者Jacen用两万多字总结了《C++ Primer 中文版(第五版)》1-16章的阅读要点,

可以作为该书的阅读参考。

注:原书更为详细,本文仅作学习交流使用。


嵌入式代码质量与开发效率技术沙龙深圳、上海、北京三城巡回开始啦

RT-Thread联合鉴释科技分享双方在嵌入式软件领域多年积累的保证代码质量的一些经验和方法,助力小伙伴提升代码质量,欢迎小伙伴报名参加

议程

13:30——14:15

嵌入式软件持续集成与测试

演讲人:RT-Thread 技术工程师

14:15——15:00 

嵌入式代码的典型漏洞分析和识别

演讲人:肖琳杰 鉴释资深技术工程师

15:00——15:45

提高嵌入式软件“调试”效率

演讲人:RT-Thread 技术工程师

15:45——16:30 

WASM 安全性提高

演讲人:梁宇宁  鉴释联合创始人兼CEO

扫码报名

???????????? 点击阅读原文报名线下沙龙

树莓派4B部署YOLOv5目标检测模型部署(包含加速方法以及模型训练方法总结) 树莓派4B部署YOLOv5目标检测模型 简介: 阅读详情

相关推荐

YOLOv5-Lite:NCNN+Int8部署和量化,树莓派也可实时

本文版权属于GiantPandaCV,未经允许请勿转载 前言: 还记得我在两个月前写的文章吗,关于yolov4-tiny+ncnn+int8量化的详细教程: https://zhuanlan.zhihu.com/p/372278785 后来准备写yolov5+ncnn+int8量化的教程,却在yolov5的量化上遇到了麻烦,一方面是量化后速度更慢了,另一方面是精度下降严重,出现满屏都是检测框的现象,后来经过很多尝试,最终都以失败告终。 再后来,还是决定换其他方式对yolov5进行量化,一是即使最小的yolo

chenxiangrong的博客 1万+

阿里达摩院提出:首个精度无损的INT8加速训练方案 | AAAI 2021

点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达Distribution Adaptive INT8 Quantization for Training CNNs论文:...

阿木寺的博客 1644

使用 NVIDIA TensorRT 的量化感知训练实现 INT8 推理的 FP32 精度

深度学习正在彻底改变行业提供产品和服务的方式。这些服务包括用于计算机视觉的对象检测、分类和分割,以及用于基于语言的应用程序的文本提取、分类和摘要。这些应用程序必须实时运行。 大多数模型都采用浮点 32 位算法进行训练,以利用更宽的动态范围。但是,在推理时,与降低精度的推理相比,这些模型可能需要更长的时间来预测结果,从而导致实时响应的一些延迟,并影响用户体验。 在许多情况下,最好使用降低精度或 8 位整数。挑战在于,在训练后简单地对权重进行四舍五入可能会导致模型精度较低,尤其是当权重具有较宽的动态范围时。这.

如果想成为中心,那么就到中心去吧。 1618

8比特数值也能训练模型?商汤提训练加速新算法丨CVPR 2020

出品 | AI科技大本营(ID:rgznai100)在CVPR 2020上,商汤研究院链接与编译团队、高性能计算团队和北航刘祥龙老师团队合作提出了用于加速卷积神经网络训练过程的INT8...

AI科技大本营 2609

【ROS】ROS局域网下多机通讯方法

最近工作中需要用到多机通讯,这里稍微总结一下使用方法。一、网络配置ifconfig这里举个例子,主机的IP地址为192.168.1.127,从机的IP地址为192.168.1.126;之后可测试一下能否互相ping通,成功后进行下一步。

weixin_43326110的博客 3362

JavaFx之集成FontAwesomeFX与JFoenix(十五)

本文详细介绍了如何在JavaFx项目中同时集成JFoenix和FontAwesomeFX,以创建现代化、美观的桌面应用界面。通过Maven依赖配置、动态代码创建和FXML静态声明两种方式,演示了如何将JFoenix的Material Design控件与FontAwesomeFX的丰富矢量图标完美结合,并提供了实战案例展示如何构建一个功能完善的现代化工具栏。

pepsi的博客 438

利用TensorRT实现INT8量化感知训练QAT

深度学习正在彻底改变行业提供产品和服务的方式。这些服务包括用于计算机视觉的对象检测、分类和分割,以及用于基于语言的应用程序的文本提取、分类和摘要。这些应用程序必须实时运行。 大多数模型都采用浮点 32 位算法进行训练,以利用更大的动态范围。然而,在推理时,这些模型可能需要更长的时间来预测结果相比,精度降低推理,造成一些延迟的实时响应,并影响用户体验。 在许多情况下,最好使用精度降低的整数或 8 位整数。挑战在于训练后简单地四舍五入权重可能导致较低的模型精度,特别是当权重具有较大的动态范围时。本文简单..

ZONGXP的博客 1万+

ThinkBook 16 2024 Ubuntu驱动全攻略:从无线网卡到触控板

本文详细介绍了ThinkBook 16 2024在Ubuntu系统下的驱动问题解决方案,涵盖无线网卡、蓝牙、显卡和触控板等关键硬件的驱动修复步骤。通过具体命令和配置指南,帮助用户快速解决兼容性问题,提升Ubuntu在ThinkBook上的使用体验。

weixin_29200741的博客 830

用了这个技术,我让模型训练和推理快了好几倍

❤️点击上方,选择星标或置顶,每天给你送上干货❤️作者 | godweiyang出品 | 公众号:算法码上来(ID:GodNLP)- BEGIN-什么技术呢?就是量化,别激动,不是量化交易,这里是指模型精度上的int8量化。Transformer系列模型都在用吧?Hugging Face都在用吧?Fairseq都在用吧?那你们训练和推理的时候没有觉得很慢吗?之前教过你们怎么用LightSeq来加...

算法码上来 1294

嵌入式学习之QT学习---14 QT跨平台运行之把QT程序交叉编译到ARM开发板

想要把qt工程放到开发板上运行,就需要用到交叉编译。由于qt是跨平台的,所以只需要换个编译器编译一下就可以。 以“定时器”的例子为例,在移植之前还需要进行一个准备工作,在windows下运行的时候,电脑屏幕很大,但是运行的窗口只有一点点大,开发板也有外接屏幕,如何让运行窗口自动适配开发板的外接屏幕呢?令其占满屏幕显示,而不是一小块。 第一步:需要设置一下,先给ui布局,如果不布局,控件就不会随着屏幕的大小的变化而变化。 第二步:利用代码来获取屏幕的大小,给widget.cpp文件下添加如下代码 #inclu

qq_42822743的博客 5459

从想法到零件:手把手拆解一个汽车功能如何从PRD写到SSTS和CTS

本文详细拆解了汽车电子需求从市场文档(MRD)到零部件技术规范(CTS)的完整流程,以雨天自动关窗功能为例,展示了PRD、SSTS和CTS的编写要点与交互设计。文章重点解析了系统分解的艺术和零部件落地的精确参数要求,为汽车电子工程师提供了从概念到实现的全流程实践指南。

weixin_30300225的博客 481

INT8量化感知训练原理分析

在进行int8量化感知训练时,权重和特征是这样传递的,浮点型的特征Arl−1经过量化后变成int8比特的Aql−1,然后再反量化为Ar′l−1,Wrl也是同样,量化为Wql,再反量化为Wr′l,于是,Wr′l和Ar′l这两个浮点数进行卷积运算,加上偏置后结果为浮点数Arl,再经过量化,可得Aql,如下图所示A^{l-1}_r经过量化后变成int8比特的A^{l-1}_q,然后再反量化 \\为A^{l-1}_{r'},W^l_r也是同样,量化为W^l_q,再反量化为W^{l}_{r'}, \\于是,W^l_{

qq_40268672的博客 1719

Oracle19c集群节点故障恢复:从主机重装到重新加入集群的完整指南

本文详细介绍了Oracle19c集群节点故障恢复的全过程,从主机重装到重新加入集群的完整指南。重点讲解了保持集群配置一致性、彻底清理故障节点残留信息和分阶段验证等关键恢复原则,帮助DBA高效解决节点故障问题,确保集群稳定运行。

weixin_42524276的博客 257

论文阅读3:INT8量化训练

一、Title 二、Abstract 三、Methods 四、Experiment

qq_40268672的博客 2889

Android 14.0 SystemUI状态栏居中显示时间和修改时间显示样式

在14.0的系统rom定制化开发中,在systemui状态栏系统时间默认显示在左边和通知显示在一起,但是客户想修改显示位置,想显示在中间,所以就要修改SystemUI 的Clock.java 文件这个就是管理显示时间的,居中显示的话就得修改布局文件了

安卓兼职framework和app工程师的博客 980

BMP390L数字大气压传感器原理图设计,已量产(压力传感器)

在工业设备的室内定位、地下设施监测这类 GPS 信号盲区场景里,气压高度检测的 “靠谱程度” 直接决定了系统的可用性 —— 毕竟谁也不想在地下停车场导航时,设备把 1 楼误判成 3 楼。最近在项目里基于博世 BMP390L 做了硬件电路设计,正好聊聊这款工业级数字气压传感器的硬实力,以及原理图里的那些关键设计细节。

不脱发的程序猿 356

大语言模型的模型量化(INT8/INT4)技术

由于量化前的激活值变化范围较大,即使对于同一 token,不同channel数值差异较大,对每个 token 的量化也会造成精度损失,但是不难看出较大值一般出现在同一 channel,因此作者也分析了采用 per-channel 的量化方式,这种量化方式能很好的避免精度损失,但是硬件不能高效执行,增加了计算时间,因此大多数量化仍采用 per-token 及 per-tensor 的量化方式。最后,我们再计算与 A 和 B 的最大绝对值向量的外积,并将此与 C 求哈达玛积来反量化回 FP16。

stephen147的博客 4768

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

INT8 中的稀疏性:加速的训练工作流程和NVIDIA TensorRT 最佳实践

深度学习 (DL) 模型的训练阶段包括学习大量密集的浮点权重矩阵,这导致推理过程中需要进行大量的浮点计算。研究表明,可以通过强制某些权重为零来跳过其中许多计算,而对最终精度的影响很小。与此同时,之前的帖子表明较低的精度(例如 INT8)通常足以在推理过程中获得与 FP32 相似的精度。稀疏性和量化是流行的优化技术,用于解决这些问题,缩短推理时间并减少内存占用。

专注于人工智能领域的小何尚 2531

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

模型加速之INT8量化原理及实践(基于TensorRT)

模型量化的简要总结: 1、量化的定义是将网络参数从Float-32量化到更低位数,如Float-16、INT8、1bit等。 2、量化的作用:更小的模型尺寸、更低的功耗、更快的计算速度。下图是不同数据结构比较及执行基本运算时的计算消耗。 3、浮点数均匀间隔映射的量化过程称为均匀量化,否则是非均匀量化,也可以叫作线性量化和非线性量化。 4、被映射区间关于0点对称分布称为对称量化,比如需要映射的数值范围[-10000,30000],映射区间为[-127,127],映射时选取被映射区间为[-30000

Nicholson的博客 1万+

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

怎样用int8减少GPU显存占用并提升效率——DeepLn算力云全程实操

将模型中的32位浮点数转换为8位整数。这种转换通过使用缩放因子(scale)和偏移量(offset)完成。不仅缩减了数据存储的空间,还能在推理时降低计算资源的消耗。

3280

模型量化核心技术:INT8校准与量化感知训练(QAT)指南

决定了每个量化步长的浮点值跨度,零点偏移。确保浮点零值精确映射到整数值(如128)。:通过调整权重 (W) 补偿量化误差。其中 (b) 为各层的量化比特数向量。通常取2~3,控制覆盖的分布范围。确保量化后的均值与原分布一致。-bit 整数(通常。

weixin_69882801的博客 1252

树莓派3B 实现通过GPU加速pytorch计算

树莓派3B pytorch GPU支持

weixin_43561808的博客 4025

numpy仿pytorch搭建神经网络前向传播框架

用numpy搭建神经网络框架,只进行前向计算不进行反向传播。我这样做的主要目的是想把自己搭建的网络部署到树莓派上,而不需要在树莓派上安装pytorch环境。当然这件事做完以后能学会的东西: 1、神经网络各个层的具体实现; 2、python一些魔法方法的使用; 3、numpy的文件读写方法; 4、矩阵运算的加速; 等。

找不到服务器的博客 369

一文掌握基于深度学习的自动驾驶小车开发(Pytorch实现,含完整数据和源码,树莓派+神经计算棒)

./lite/tools/build_android.sh --arch=armv7 --android_stl=c++_shared --with_cv=ON

你是怎么做到的?我为什么做不到 5万+

树莓派 cuda加速_用树莓派4b构建深度学习应用(四)PyTorch篇

前言 上回我们安装了OpenCV 4.4,相信对源码编译库文件有了一定的了解,这篇我们进一步在树莓派上编译并安装 Pytorch 的最新版本。PyTorch 1.6 的新特性PyTorch 1.6 版本增加了许多新的 API、用于性能改进和性能分析的工具、以及对基于分布式数据并行(Distributed Data Parallel, DDP)和基于远程过程调用(Remote Procedure C...

weixin_39519741的博客 5917

PyTorch模型训练完毕后静态量化、保存、加载int8量化模型

1. Pytorch模型量化方法 Pytorch模型量化方法介绍有很多可以参考的,这里推荐两篇文章写的很详细可以给大家一个大致的参考Pytorch的量化,官方量化文档 Pytorch的量化大致分为三种:模型训练完毕后动态量化、模型训练完毕后静态量化、模型训练中开启量化,本文从一个工程项目(Pose Estimation)给大家介绍模型训练后静态量化的过程。 具体量化知识可以从推荐的两篇文章中学习。 2. 量化过程准备工作。 1.数据集下载(在做静态量化时需要对数据集进行推理获取数据的分布特点、定标

LaiCheng的博客 3万+
上一篇: 【技术三千问】之《SD卡问题难点解析》,经验总结!
下一篇: 【RT-Thread开源作品秀】基于RT-Thread的星务平台研究
RT-Thread物联网操作系统
博客等级 码龄6年 2万+粉丝 392原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值