YUVMultiNet Real-time YUV multi-task CNN for autonomous driving

1027_test.py关于在YUV 格式的Y channel上训练模型,但是输入图像是RGB—YUV—RGB debug的过程 最终的代码如下: def main(): # parse arguments args = parse_args() if args is None: exit() if args.gpu_mode and not torch.cuda.is_available(): raise Exception("No GPU found, please run without --gpu_mode=False") # print 'sc. 阅读详情

论文地址:https://arxiv.org/pdf/1904.05673.pdf

摘要

        在这篇文章中,我们提出了一个多任务卷积神经网络(CNN)框架优化对一个低功率汽车级Soc。我们介绍一个网络基于一个统一框架,其中编码是分享在两个任务检测和分割。这个提出的网络运行达到25帧在1280*1280像素上。我们主要讨论这个方法使用去优化网络框架,例如使用本地YUV图直接地,优化层&特征图以及应用量化。我们也集中在内存带宽在我们设计卷积,数据密集型和大部分SOCs带宽瓶颈。我们认证这个的有效,我们提出的网络对一个专用CNN加速展示这个关键绩效指标(KPI)在检测和分割任务上,从硬件执行和对应运行时间。

                                                    

系统框架

                                                      

YUV4:2:0图像空间

                                                      

V2N9网络模型

                                                                     

结论

      我们能合理地维持,三个主要贡献被展示在这篇文章中:一个数据数据层来专用和优化对YUV4:2:0图像空间,一个网络面向CNN核的低功率SoC和一个网络较高地减少框架靠近原始的多网络精度但速度比较快。

了解更多关于《计算机视觉与图形学》相关知识,请关注公众号:

下载我们视频中代码和相关讲义,请在公众号回复:计算机视觉课程资料

YUV空间中基于稀疏自动编码器的无监督特征学习_李祖贺.pdf 现有无监督特征学习算法通常在 RGB 色彩空间进行特征提取,而图像和视频压缩编码标准则广泛采用 YUV 色彩空间。为了利用人类视觉特性和避免色彩空间转换所消耗的计算量,该文提出一种基于稀疏自动编码器 在 YUV 色彩空间进行无监督特征学习的方法。首先在 YUV 空间随机采集图像子块并进行白化处理,然后利用稀 疏自动编码器进行无监督局部特征学习。在预处理阶段,针对 YUV 空间亮度和色度通道相互独立的特性,提出一 种将亮度和色度进行分离的白化措施。最后用学习到的局部特征在大尺寸图像上进行卷积操作从而获得全局特征, 并送入图像分类系统进行性能测试。实验结果表明:只要对亮度分量进行适当的白化处理,在 YUV 空间中的无监 督特征学习就能够获得相当于甚至优于 RGB 空间的彩色图像分类性能。 立即下载

相关推荐

【vLLM-性能洞察】基于Ascend Profiler的端到端推理瓶颈定位与优化实践

本文详细介绍了如何利用Ascend Profiler对vLLM-Ascend大模型推理服务进行端到端的性能瓶颈定位与优化。通过实战案例,阐述了从数据采集、可视化分析到诊断低效算子、内存管理、计算通信重叠及框架调度等常见瓶颈的全过程,为基于昇腾NPU的AI推理性能调优提供了系统性的方法论和实用工具指南。

cc789的博客 534

【YUV-MultiNet】用于自动驾驶的实时YUV多任务CNN

本文提出了一种针对低功耗车用SoC优化的多任务卷积神经网络(CNN)结构。

不积跬步,无以至千里! 2690

电子产品的老化测试有哪些类型?

因此,越来越多的人在寻找“已知合格的测试连接器”,即经过测试具有可靠性和有效性的测试连接器,可以在老化测试中制定优化方法。例如对于芯片来说,不同的封装有不同的老化测试座,QFP老化测试座,QFN老化测试座等。老化测试时,专用老化电路板上的元件将承受等于或高于其额定工作条件的压力,以消除任何在额定寿命之前过早失效的元件。静态老化:在此类系统中,将测试设备安装到老化板上的插座中,然后放入老化箱中,其中每隔12至24小时施加电源和高温。动态老化:在动态老化系统中,设备以老化速度设定的最大速率进行测试。

软件技术的专栏 1840

用于自动驾驶的实时 YUV 多任务 CNN

作者 | AI 修炼之路来源 | AI 修炼之路摘要本文提出了一种针对低功耗车用SoC优化的多任务卷积神经网络(CNN)结构。我们介绍了一个基于统一架构的网络,其中编码器由检测和分割两个任...

AI科技大本营 600

embedding计算过程

文章目录embedding计算过程(错了跟我讲,我会改)参考示例个人理解过程图示总结(基于pytorch) embedding计算过程(错了跟我讲,我会改) 参考示例 https://www.jianshu.com/p/63e7acc5e890 个人理解过程图示 总结(基于pytorch) 总的来说,就是将独热向量的长度(对应嵌入层的num_embeddings)转变为嵌入层的emdedding_size(而独热向量的维数就是你的数据中一共产生了多少个不一样的词,至少是这么多)。 数据的变化,将二维

纸上得来终觉浅,绝知此事要躬行! 1633

R语言实战:从Raw Counts到TPM/FPKM的完整转换指南(含代码调试技巧)

本文详细介绍了在R语言环境中将RNA-seq原始计数(raw counts)转换为TPM/FPKM值的完整流程,包含代码实现和常见错误调试技巧。通过具体案例演示如何正确处理基因长度和测序深度因素,实现表达量标准化,为生物信息学分析提供可靠数据基础。特别适合需要进行转录组数据分析的研究人员和实验室技术人员参考。

weixin_28559803的博客 481

Multi-Task CNN

同时实习人脸检测与人脸对齐; 级联结构,三阶段卷积网络,由粗到细的预测人脸候选框和关键点位置 数据预处理 对图像进行多尺度的resize,构成图像金字塔,顶端金字塔最小应该大于12 * 12。这样网络的输入尺寸虽然固定,但是可以处理不同尺寸的人脸。 训练集构建 由于网络同时执行人脸检测和对齐,因此在这里我们在训练过程中使用四种不同的数据类型: Positives:与ground trut...

linlinle的博客 1367

香橙派5使用RK3588S内置NPU加速yolov5推理,实时识别数字达到50fps

香橙派5采用了RK3588S,内置的NPU达到了6Tops的算力,博主这里记录一下自己的踩坑过程,好不容易做出来的不能以后忘记了(手动狗头)。这里博主还在B站上发布了效果视频,大家感兴趣的话可以看一下。其中解决了先验框标注位置不对,或者出现非常多的框的问题

weixin_51651698的博客 2万+

CNN模型应用流程

获取摄像头YUV数据 YUV转RGB Padding到正方形防止形变 Resize图像到模型需要大小,如256*256 减均值Meaning Scale 处理过的图像送入模型中 模型结果获取 结果处理 第5和6步,合在一起叫归一化处理

Melon的博客 481

风机叶片小规模振动监测数据集--读取测试

ETH风电叶片缺陷数据集–读取测试 数据简介 提示:这里可以添加本文要记录的大概内容: 结构健康监测是保障重要机电设备、建筑设施健康的重要技术手段。 一、lvm_read包安装 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务

cnjs1994的博客 2852

【网络安全】Python代码审计高危函数与安全审计建议

Python 灵活且动态的特性使得开发便捷,但同时也带来了严重安全隐患。如果开发者缺乏安全意识,极易引入命令执行、反序列化漏洞及模板注入漏洞。本文总结了 Python 中常见的高危函数、模块和第三方库,并给出对应的审计建议及其原理解析,供安全研究人员和开发者参考。

等风来 418

使用CNN实现手势识别(内附数据集链接)

使用肤色检测法和Lenet-5实现手势识别 数据集的制作 使用摄像头录制视频并用imwrite函数记录下来 def camo (): start = 0 i = 0 count = 0 while True: cv2.resizeWindow("camo", screenx, screeny) ret, frame = capture.read() # 读取摄像头 train,_ = train_pic(frame) # 获取64*64去除背景的

Accut_的博客 7976

YOLOV5 自动刷图脚本实战(十五)之如何找到正确的门

DXF是一个2D游戏,我们所看到的人物移动,其实是后面的背景在移动,我们所看到的画面,不过是一个完整背景中的一个镜头视角而已想要正确找到门的坐标,我们需要对不同的地图中的每个房间做一些配置信息。

qq_38892949的博客 2812

Evaluation of deep learning approaches based on CNNs for corrosion detection

基于卷积神经网络的腐蚀检测深度学习方法评价 原文: 摘要 腐蚀是结构系统中的一个主要缺陷,具有重大的经济影响,如果不加以控制,可能会带来安全风险。目前,检查员通过目视评估结构的状况来识别腐蚀。这种方法费时、乏味且主观。机器人系统,如无人机,与计算机视觉算法相结合,具有执行自主损伤检测的潜力,可以显著减少检查时间,并导致更频繁和客观的检查。本研究评估了卷积神经网络在腐蚀检测中的应用。卷积神经网络学习适当的分类特征,在传统的算法是手工设计的。卷积神经网络的一个主要优点是不需要依赖于先验知识和人为设计特征。本文介

weixin_50556981的博客 636

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

深度学习&图像处理(色彩编辑4)

1.YUV转换 YUV,是一种颜色编码方法。“Y”表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。 YUV颜色模式的Y通道与UV是分离的,没有UV色度信号的话则表示黑白图像。YUV主要用于彩色视频的优化,被用在彩色电视系统中,可以兼容黑白电视,黑白电视和彩色电视在接受...

OpenSceneGraph的博客 1957

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

ffmprg Api 示例1--保存指定时间段的视频数据为yuv格式

利用ffmpeg截取视频播放文件数据并保存为yuv格式。 代码完全参考了这个链接的文章,很详细,在centos进行编译完全没有问题 。 看下面的代码吧: [cpp] view plaincopyprint? /*File : testYuv.c   *Auth : sjin   *Date : 20141120   *Mail : 4139

oe516wu的专栏 505

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

RGB、YUV、YCbCr几种颜色空间的区别

首先要说明RGB、YUV和YCbCr都是人为规定的彩色模型或颜色空间(有时也叫彩色系统或彩色空间)。它的用途是在某些标准下用通常可接受的方式对彩色加以描述。本质上,彩色模型是坐标系统和子空间的阐述。 【1】RGB    RGB(红绿蓝)是依据人眼识别的颜色定义出的空间,可表示大部分颜色。但在科学研究一般不采用RGB颜色空间,因为它的细节难以进行数字化的调整。它将色调,亮度,饱和度三个量放在一起

smallU的专栏 6万+

MultiNet:自主驾驶中的实时联合语义推理(译)

为了实现实时性应用的要求, 提出了一种通过统一架构的联合classification、detection、segmentation的方法, 其中encoder由三个任务共享。在Kitti上测试验证。

hukai7190的博客 1万+

详解YUV数据格式

转自:http://www.cnblogs.com/azraelly/archive/2013/01/01/2841269.html 作者:azraelly 转自:未知(大家貌似都是转载) 作者:未知   YUV格式有两大类:planar和packed。 对于planar的YUV格式,先连续存储所有像素点的Y,紧接着存储所有像素点的U,随后是所有像素点的V。 对于packed

lucky_greenegg的专栏 8万+

【MultiNet】用于自动驾驶的多模态多任务学习网络

本文发表于2019年的IEEE计算机视觉应用冬季会议上,是一篇有关自动驾驶领域多模态多任务网络应用的文章。

不积跬步,无以至千里! 4080

GA-Net: Guided Aggregation Net for End-to-end Stereo Matching

Code:https://github.com/feihuzhang/GANet 摘要 在立体匹配任务中,匹配损失配准是至关重要的在传统方法和深度神经网络模型中,为了精确估计差异。我们提出了两个新颖的神经网络层,目的去捕获一个局部和全局图像的成本依赖性。第一个是半全局聚集层,它是半监督匹配的一个可微近似,第二个是局部引导聚集层,它是使用了一个传统的损失滤波策略来简化结构。 ...

CSS360的博客 3970
上一篇: GS3D: An Efficient 3D Object Detection Framework for Autonomous Driving
下一篇: Unsupervised Person Re-identification by Soft Multilabel Learning
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值