【嵌入式AI周报20210430期】Xilinx推出K26视觉AI核心板、黑芝麻智能发布196TOPS华山A1000

Kria K26 SOM 在 KV260 开发板上的使用 Kria K26 SOM 的使用 阅读详情

导读:本期为 AI 简报 20210430期,文章架构已经调整,侧重 AI 嵌入式方向,请慢慢食用~

祝大家节日快乐~

本文一共 3700 字,通篇阅读结束需要 10~15 分钟

RT-AK 进展

RT-AK Person Detection Demo

Github:

https://github.com/EdgeAIWithRTT/Project4-Person_detection_RT-AK

STM32 峰会上展示的人形检测项目。

让 AI 在你的板子上尽情舞蹈~

本次实验的是识别摄像头中的人,就一个人,而不是多个。

从多类别检测模型改编而来,只保留 person 这个类别,根据各位看官的能力完全可以改成识别多类

本次项目的篇幅将会较长,请各位看官耐心看完

整体分为三部分:

  1. 模型

  2. RT-AK 使用

  3. 板子上的应用层代码实现

硬件平台 ART-Pi, 50M FLOPS。

我的模型(删减后的模型)最终部署在板子上是推理时间是56ms,不包括数据处理时间。

AI 嵌入式

AI 芯片

1. 黑芝麻智能发布196TOPS华山A1000 Pro芯片,山海人工智能开发工具平台亮相

原文:

https://www.sohu.com/a/461616577_430289

4月19日消息,上海车展首日,国内AI芯片创企黑芝麻智能发布新一代车规级自动驾驶计算芯片——华山二号 A1000 Pro、山海人工智能开发工具平台以及面向车路协同的路侧感知计算平台 FAD Edge。

据了解,华山二号A1000 Pro芯片基于黑芝麻智能两大自研核心IP——车规级图像处理器NeuralIQ ISP以及DynamAI NN车规级低功耗神经网络加速引擎研发,得益于DynamAI NN大算力架构, A1000 Pro支持INT8稀疏加速,INT8算力为106 TOPS,INT4 的算力达到196 TOPS,算力能够支持高级别自动驾驶功能,实现泊车,城市内部公开道路,到高速场景等场景的自动驾驶功能。

该芯片是目前国内算力最高的自动驾驶计算芯片,采用采用异构多核架构,16核Arm v8 CPU ,16nm工艺制程,典型功耗仅为25w,支持16路高清摄像头输入,支持ASIL-B级别功能安全,内置ASIL-D级别安全岛,具有高性能、低功耗、安全可靠的特点。A1000 Pro预计在今年Q3提供工程样片,Q4 提供开发平台。

2. 芯驰科技四款车规级处理器芯片亮相上海车展

原文:

https://finance.sina.com.cn/tech/2021-04-24/doc-ikmxzfmk8658109.shtml

【TechWeb】4月24日消息,在本届上海车展上,芯驰科技发布了四款全新升级车规级处理器芯片:X9U、V9T、G9Q/G9V。

未来,汽车不仅仅是通行工具,更是人们重要的生活空间,X9U高性能智能座舱芯片,就是为用户能获得极致的舱内体验而设计。

芯驰科技全新X9U处理器具有强劲性能,CPU总算力达到100KDMIPS,3D图形性能达到300GFLOPS,AI计算性能达到1.2TOPS。

在一颗X9U芯片上,能够实现未来智能座舱各项功能的全部集成,不仅可以支持语音、导航、娱乐、环视等常规智能座舱功能,还可以支持DMS、OMS和自动泊车等ADAS功能。

3. 安霸亮相2021上海车展 汽车芯片实力吸睛

原文:

http://www.casmita.com/news/202104/23/4131.html

第十九届上海国际汽车工业展览会(以下简称:2021上海车展)于4月19日在国家会展中心(上海)正式拉开帷幕。作为今年全球第一场A级车展,2021上海车展吸引到众多家海内外知名企业积极参展,将以“拥抱变化”为主题,向公众传递汽车工业最前沿的技术成果、行业资讯。

本届上海车展聚焦于挖掘汽车与信息通信、人工智能、互联网的深度融合。

人工智能视觉芯片公司-安霸展示了基于 CV芯片的前视ADAS(高级驾驶辅助系统)的参考设计“Rebel”和L2+多V视觉方案,以及芯片级全方位安全机制和隐私保护的“磐石”。

与此同时,安霸今年1月推出的旗舰产品5纳米的 8K AI 视觉芯片CV5,在2021上海车展上也完成了国内首秀。

安霸的AI SoC可用于低功耗设计、超高清视频压缩、优异图像处理及带AI加速器的车用产品,通过高性能计算给汽车智能视觉感知方案赋能。

AI 硬件

1. Xilinx推出K26视觉AI核心板,可以直接用于产品设计,加速产品上市 | 安富莱嵌入式周报

原文:

https://mp.weixin.qq.com/s/fOvPE7j68AfVcmm6SSCbtA

Xilinx新的Kria K26核心板,专为加速视觉AI应用而打造,可直接用于产品。Kria核心板在设计时就考虑了软件工程师,无需FPGA编程经验即可提供熟悉的设计环境(使用Xilinx在2019年推出的工具链Vitis,支持C/Python编程,Vitis AI和Vitis加速库允许使用纯软件定义的流程进行端到端应用程序加速-无需硬件专业知识),并通过KV260入门开发套件快速上手。

Kria K26基于Zynq UltraScale + MPSoC架构,该架构带四核Arm Cortex-A53处理器和256K系统逻辑单元,1.4TOPS AI处理性能,4k 60p H.264 / 265视频编解码器,并具有4GB的RAM,16GB的eMMC。

2. Arduino推出用于智能农业的边缘控制板 | 安富莱嵌入式周报

Image

它可以放置在任何地方,适用于精密农业,智能农业以及其他需要在远程位置进行智能控制的应用。可以通过太阳能电池板或直流输入供电。

这些传感器特别适合智能农业,可以收集实时数据,例如天气状况,土壤质量,作物生长等,获取数据后可以上传云端做后续分析。

嵌入式 AI 项目

1. 无人机开发套件源码开源!具备:5G、边缘计算、物联网等多种功能! | EFTOP

GIthub:

https://github.com/RobSenseTech/Phenix-Guide

4月18日,杭州若联科技在浙江湖州召开了“5G 无人机系统开发者版发布会”。(点击可跳转原文)

据介绍,i800-5G具备5G网联和边缘计算功能,不仅可以实现超远程飞行控制操作,还拥有定位信息、任务载荷数据融合处理,和自主导航运算的能力。

该版本面向行业应用原型机研发和量产机型研发,适用于院所、高校、公司原型机预研团队、公司量产机型研发团队。能够帮助开发团队降低二次开发成本、缩短概念验证周期,提高整机集成度,并且可靠性已初步验证,有大量实际项目验证的飞行数据积累。

据了解,i800-5G完整资料近期将更新到guide.robsense.com。

2. 超越YOLOv5的PP-YOLOv2和1.3M超轻量PP-YOLO Tiny都来了!| 机器之心

Image

Github:

https://github.com/paddlepaddle/paddledetection

单阶段目标检测界的扛把子 --YOLO,以其 「又快又好的效果」 在学术及产业界全面风靡。(点击可跳转原文)自 20 年下半年 YOLOv4、YOLOv5、PP-YOLO、YOLO-Fastest 和 YOLOv4 Tiny 等等轮番轰炸、掀起 「YOLO 狂潮」 后,时隔半年,超越 YOLOv5 的 PP-YOLOv2 和 1.3M 超超超轻量级的 PP-YOLO tiny 一起来了!!!

如图 1 可见,PP-YOLOv2 在同等速度下,精度超越 YOLOv5!相较 20 年发布的 PP-YOLO,v2 版本在 COCO 2017 test-dev 上的精度提升了 3.6%,由 45.9% 提升到了 49.5%;在 640*640 的输入尺寸下,FPS 达到 68.9FPS,而采用 TensorRT 加速的话,FPS 更是达到了 106.5!这样的性能,超越了当前所有同等计算量下的检测器,包括 YOLOv4-CSP 和 YOLOv5l !

不仅如此,与 PP-YOLOv2 一同面世的,还有体积只有 1.3M 的 PP-YOLO Tiny,比 YOLO-Fastest 更轻、更快!这样超超超轻量的算法面世,更是很好的满足了产业里大量边缘、轻量化、低成本芯片上使用目标检测算法的种种诉求!

AI 前沿速递

1. 手机拍视频最怕抖,只能靠AI拯救了 | 机器之心

640

论文地址:

https://arxiv.org/pdf/2102.06205.pdf

项目地址:

https://github.com/alex04072000/NeRViS

你拿着手机拍视频时,最大的困扰是什么?

抖……

视频抖动似乎成为亟需解决的一大问题。

近日的一项研究可以很好地解决视频抖动问题。它的效果是如上图这样的:

从画面看,右边的视频抖动明显减少,即使是疾走拍摄,看起来也不那么晃眼

视频画面的稳定与否,很大程度上影响着观感的舒适度!

如何补偿视频抖动,拯救手抖党,来自台湾大学、谷歌等研究机构的学者,提出了防抖新算法,视频拍摄——稳。

具体而言,该研究提出了一种通过估计稠密的扭曲场来实现全帧视频稳定的算法,既可以融合来自相邻帧的扭曲内容,也能合成全帧稳定的帧。

这种算法的核心技术为基于学习的混合空间融合,它可以减轻因光流不精确和快速移动物体造成的伪影影响。

大量的实验结果表明,该研究提出的方法优于以往的视频稳定方法。

2. CVPR 2021 | 阿里达摩院提出半监督视频目标分割新算法,实现SOTA性能| 机器之心

Image

论文地址:

https://arxiv.org/pdf/2104.04329.pdf

本文是阿里巴巴达摩院视觉实验室潘攀博士团队在半监督视频目标分割领域的最新研究成果,已被 CVPR2021 接收。目前以 Space Time Memory Network(STM)为代表的 memory-based 算法在性能上有着巨大的优势,但仍然在部分场景中存在较大问题。(点击阅读原文)

本文分析了 memory-based 算法的局限性,提出建立位置和目标的一致性来作为改进方法,

在 DAVIS、Youtube-VOS 等数据集上取得了 SOTA 结果。该成果同时获得了 DAVIS 2020 半监督视频目标分割比赛的冠军。

3. Google发布语义分割新数据集!顺带开发个模型屠榜,已被CVPR2021接收 | 新智元

Image

自动驾驶里视觉一直为人所诟病,特斯拉就是经常被拉出来批判的典型。谷歌最近开发了一个新模型,效果拔群,已被CVPR2021接收。(点击阅读原文)

从图像重建3D世界的能力可以分解为两个独立的子任务:单眼深度估计(从单个图像预测深度)和视频全景分割(实例分割和语义分割)。

基于这个研究背景,Google提出一个全新的模型ViP-DeepLab,通过深度感知视频全景分割来学习视觉感知,旨在同时解决单眼深度估计和视频全景分割。

ViP-DeepLab是一个统一的模型,可以对图像平面上的每个像素联合执行视频全景分割和单眼深度估计,并在子任务的几个学术数据集取得了sota结果。

文末福利

1. PyTorch官方培训教程上线:从基本概念到实操,小白也能上手| 量子位

Image

你是否也有这样的困惑(点击阅读原文):

“看了无数个入门教程,这个门还是没跨进去……”

这一次,你可能终于有救了!

PyTorch官方推出了培训教程,手把手带你飞!

课程从介绍PyTorch基本概念开始,小白看了完全无压力

一步步深入,手把手带你建模、训练、部署

短短八节课程,你就能真正上手PyTorch!

PyTorch官方教程:
https://www.youtube.com/channel/UCWXI5YeOsh03QvJ59PMaXFw/videos

如果纯英文教程比较吃力,可以参考b站汉化版(@爱可可-爱生活):
https://www.bilibili.com/video/BV1qh411U73y?p=1

以及中文版文字教程:
https://pytorch-cn.readthedocs.io/zh/latest/notes/extending/#pytorch

2. 图解 Git 工作原理

原文链接:

http://marklodato.github.io/visual-git-guide/index-zh-cn.html

此页图解git中的最常用命令。如果你稍微理解git的工作原理,这篇文章能够让你理解的更透彻。如果你想知道这个站点怎样产生,请前往GitHub repository。

基本用法:

上面的四条命令在工作目录、暂存目录(也叫做索引)和仓库之间复制文件。

  • git add files把当前文件放入暂存区域。

  • git commit给暂存区域生成快照并提交。

  • git reset – files用来撤销最后一次git add files,你也可以用git reset撤销所有暂存区域文件。

  • git checkout – files把文件从暂存区域复制到工作目录,用来丢弃本地修改。

你可以用git reset -p,git checkout -p,or git add -p进入交互模式。

也可以跳过暂存区域直接从仓库取出文件或者直接提交代码。

其他新闻

800元造台显微镜,只用手机摄像头和乐高积木的那种

我用树莓派给奶奶做了一个「手机」,语音短信样样行!

美团北京,今日起无人驾驶送外卖

全面挑战x86!Arm公布最强服务器内核及首款ArmV9平台

刚刚,核心舱「天和」出征!中国空间站正式开建,明年 11 次密集发射后完工

MIT 水下机器人新作!用机器学习 18 小时造“派大星”,Daniela Rus 为共同作者

iOS14.5发布!戴口罩也能解锁iPhone,Apple Watch就能搞定

在目标检测中如何解决小目标的问题?

面试必问!| 1. ResNet手推及其相关变形~

最全Normalization!建议收藏,面试必问!

后ResNet时代的顶流EfficientNet

你可以添加微信17775982065为好友,注明:公司+姓名,拉进 RT-Thread 官方微信交流群!

???????????? 点击阅读原文进入官网

AMD Xilinx KR260入门指引 阅读详情

相关推荐

基于PYNQ的RT-Thread移植

基于PYNQ的RT-Thread移植,在PYNQ-z1开发板上验证通过。

armdesigner的专栏 1902

使用Vitis AI 部署YOLOv5至KV260

如题,此博客记录初步使用Vitis-AI 部署YOLOv5目标检测网络至KV260边缘设备中。

weixin_52459277的博客 6312

rtthread通过SFUD、FAL、RT--YMODEM-OTA实现在线升级IAP

rtthread通过SFUD、FAL、RT--YMODEM-OTA实现在线升级IAP 平台:STM32F103ZET6 开发工具:STM32CUBEMX / RTTHREAD STUDIO

u010396127的博客 3154

黑芝麻智能:技术+生态+量产三大先发优势,领跑智驾“芯”成长

黑芝麻智能:定位智驾芯片供应商,卓越研发团队打造强劲产品力。1)公司定位:Tier2 芯片供应商,提供车规级计算 SoC 及基于 SoC 的智能汽车解决方案。2)产品结构:公司具有两个车规级 SoC 系列——华山系列和武当系列,探索高算力和跨域新机遇,截至 2023 年 12 月 31 日,旗舰 A1000 系列 SoC 的总出货量超过 152,000 片。3)股权架构:单记章累计可控股权 21.90%,多方投资合作业务前景可期。4)人才结构:创始人及核心管理团队从业经验约 20 年,具备半导体+汽车复合型

小明师兄的博客 3220

【论文阅读笔记】Real-Time Super-Resolution System of 4K-Video Based on Deep Learning

论文地址:https://arxiv.org/abs/2107.05307 代码地址:https://github.com/Thmen/EGVSR 论文小结   本文的方法名为 EGVSR ,Efficient and Generic video Super-Resolution,意味通用的高效视频超分方法,基于时空对抗学习得到时空相干性。论文中称EGVSR在GPU上能达到 4K@29.61FPS,1080p@66.9FPS,720p@70.0FPS 的速度,但是并未指明所使用的GPU和CPU型号的平台(有

时光机 °的博客 2774

ZYNQ移植FreeRTOS和固化和openAMP双核

ZYNQ可以移植多种操作系统,freeRTOS,RT-thread,wxworks,linux,UCOSII,这些操作系统可以单独运行,也可以使用openAMP双核模式两两组合运行,也可以和裸机SDK组合openAMP运行,当然也可以两个裸机组合,具体看如何配置了;ZYNQ可以移植多种操作系统,freeRTOS,RT-thread,wxworks,linux,UCOSII,这些操作系统可以单独运行,也可以使用openAMP双核模式两两组合运行,也可以和裸机SDK组合openAMP运行,具体看如何配置了;

wangjie36的博客 7556

Xilinx Vitis AI量化部署Yolov5至DPU (PYNQ)

本文章记述了从YOLOv5源代码使用Xilinx Vitis AI进行量化并部署到DPU上的全流程。在开Pynq环境下运行测试通过。

weixin_43192572的博客 1万+

u-boot-xlnx-release-2020.2.2_k26.zip

Zynq u-boot源码,GitHub上下载实在是太慢了,放到这里,

项目收集一

OpenHW2012大赛项目   项目 学校 捐赠板卡 [机器人专题]电子导盲犬 清华大学 ZED+小车套件 基于Zynq的伺服机器人设计 重庆大学 ZED+小车套件 [机器人专题]家庭安防智能机器人 湖南大学 ZED+小车套件 机器人专题-智能服务生机器人 哈尔滨工业大学 ZED+小车套件 机器人专题----基

星光熠熠 5196

RT_Thread平台M3搭建

RT_thread开发人员是用MDK(Keil)进行开发管理的,当然也提供了IAR等开发环境的配置。针对初学者都提供了相关的教程和案例,不过项目开发,还是得讲究一下如何有效搭建开发环境和配置。

Nios2 IDE 12.0 rt_thread 移植 完整工程

Nios2 IDE 12.0 rt_thread 移植 完整工程 可以直接下载,已经配置OK了。给需要的朋友 我用的是黑金的板子2

【AI简报20211203期】国产GPU全面开花!黑芝麻智能与RT-Thread达成战略合作

RT-AK新闻1. RT-Thread嵌入式AI师资培训随着 AI 技术的不断成熟和发展,人工智能正成为推动经济社会发展的新引擎,被广泛应用于各行业。随着深度学习等人工智能理论与技术的发展...

rtthreadiotos的博客 4014

XC7K325T RT-Thread 移植到 Xilinx 的 Microblaze(含教程和FPGA工程)

XC7K325T RT-Thread 移植到 Xilinx 的 Microblaze(含教程和FPGA工程),有操作教程,FPGA源码(VIVADO2017.4打开),参考原理图,资料总共57.4MB。

FPGA---用FPGA加速机器学习应用(XILINX) & 内含与CPU,GPU比较 (2017xilinx的宣讲)

https://www.bilibili.com/video/av23770632 1- 开发语言 起初是verilog/VHDL硬件语言 现在是c/c++/opencl 基于模型的 matlab/simulink 2- CPU, GPU, FPGA比较 1 CPU 冯诺依曼架构: intel的CPU, X86的CPU, ARM的CPU 1 大量的控制逻...

计算机视觉 6244

从零到一:如何用YOLOv8和PyQt5打造一个高效的路面坑洞检测系统

本文详细介绍了如何利用YOLOv8和PyQt5开发一个高效的路面坑洞检测系统。从环境配置、数据采集标注到模型训练优化,再到PyQt5界面开发与系统集成,提供了完整的实战指南。该系统结合深度学习技术,显著提升了道路检测的准确性和效率,适用于各类道路维护场景。

weixin_29047919的博客 308

别再只看读写速度了!聊聊手机闪存eMMC、UFS3.1和SSD背后的功耗与体积玄学

本文深入探讨手机闪存技术eMMC、UFS3.1和SSD在功耗与体积设计上的关键差异。通过对比接口技术、封装工艺和温度管理,揭示移动存储如何在有限空间内平衡性能与能效,为消费者提供选购参考。重点关注UFS3.1的差分信号设计和全双工架构带来的显著优势。

weixin_27061475的博客 444

FPGA CV加速

运行在 Zynq 上的 OpenCV: 为 4k60 密集光流和立体视频提速 这么强的吗?PPT里写的zed相机立体合成可以到140 FPS。现在为了改善Zynq编程难的问题,有一些硬件加速功能直接在OpenCV函数里使用就行(当然OpenCV程序全都是是运行在Zynq的ARM芯片上) ...

在路上@Amos 1050

在UI界面中播放视频_unity基础开发教程

之前我写过一篇在场景中播放视频的文章,但是在开发中有时候也会在UI的界面中播放视频,这期我们做一下在UI的界面中播放视频。操作步骤比较简单,到这里就完成了,如果有问题的话可以在评论区留言,下期见,拜拜!

为者常成,行者常至! 2006

基于Zynq的光流法软硬件协同设计与实现

基于Zynq的光流法软硬件协同实现 一、 前言 光流场(Optical Flow Field)[1]是指图像中所有像素点构成的一种二维(2D)瞬时速度场,其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。通过光流场计算能够在相机运动以及不知道场景信息的情况下检测出运动对象。因此光流场计算方法(即光流法)在模式识别、计算机视觉以及图像处理等领域具有极其重要的基础

stepzhibin的专栏 3513

Keil中搭建自动化单元测试框架Unity

前言:   虽然一些C++的自动化单元测试框架也能用来C语言单元测试,但那样我们编写C语言程序时需要符合C++的标准,这样有一些C的特性是无法使用的,限制C的特性使用不太好,于是找了一个全部用C实现的自动化测试框架。Unity是一个简单且直接的自动化单元测试框架,它由很少的几个文件构成。 搭建环境:   1.从github上下载最新版本的Unity源码,下载链接:https://github...

程序员的自我修炼 3898

IGS精密星历高效获取与解析指南

本文详细介绍了IGS精密星历在高精度定位中的核心作用,对比了IGS Final、IGR和IGU等不同产品的精度与时效性差异。指南提供了从武汉大学、NASA CDDIS等数据中心高效下载数据的实战方法,并深入解析了SP3文件格式,帮助用户掌握精密星历的获取、解析与自动化处理技巧,以支持厘米级定位应用。

garlic的博客 837

【KV260】解决xilinx-k26-starterkit-v2021.1-final.bsp在petalinux2021.1下配置及建立工程导致的问题

【KV260】解决xilinx-k26-starterkit-v2021.1-final.bsp在petalinux2021.1下配置及建立工程导致的问题

qq_43172512的博客 1625

YOLOv11改进 | Conv改进篇 | 含2种改进,引入DynamicConv替换普通Conv卷积下采样和C3k2_DynamicConv替换C3k2(来自CVPR2024)

本文提出了一种基于DynamicConv动态卷积优化的YOLOv11轻量化模型改进方案。通过引入多专家机制的动态卷积模块,在增加模型参数量的同时保持较低的计算复杂度(FLOPs),有效解决了低FLOPs模型在大规模预训练中的性能瓶颈问题。文章详细介绍了动态卷积的工作原理、核心代码实现,并提供了在YOLOv11中集成DynamicConv和C3k2_GhostModule_DynamicConv模块的完整教程,包括模块添加、配置文件修改和模型训练验证过程。实验结果表明,该方案在保持高效推理速度的同时显著提升了

Ai缝合怪、助力小伙伴高效发论文 537
上一篇: RT-AK DEMO 实战教程,教你实现单个人像识别~
下一篇: 柿饼UI在ART-Pi上的移植
RT-Thread物联网操作系统
博客等级 码龄6年 2万+粉丝 392原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值