【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于Real-ESRGAN的TPU超分模型部署

于 2024-01-05 16:13:43 发布
阅读量1.5k 收藏 27
点赞数 26
文章标签： 大数据 超分辨率重建 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lily_19861986/article/details/135412048
版权

2023 CCF 大数据与计算智能大赛

《基于TPU平台实现超分辨率重建模型部署》

洋洋很棒

李鹏飞

算法工程师

中国-烟台

2155477673@qq.com

团队简介

本人从事工业、互联网场景传统图像算法及深度学习算法开发、部署工作。其中端侧算法开发及部署工作5年时间。

摘要

本文是《基于TPU平台实现超分辨率重建模型部署》方案中算法方案的说明。本作品算法模型选用的是Real-ESRGAN。Real-ESRGAN是基于ESRGAN（Enhanced Super-Resolution Generative Adversarial Networks）模型的改进版本。ESRGAN是一种生成对抗网络（GAN）架构，在图像超分辨率重建工作中取得了很好的效果。Real-ESRGAN在ESRGAN的基础上主要进行了两个方面的改进：一是引入了真实图像的训练集，二是优化了网络结构。

具体来说，Real-ESRGAN[1]的网络结构分为两个部分：生成器和判别器。生成器负责将低分辨率图像转换成高分辨率图像，判别器则用于评估生成器产生的图像与真实图像之间的相似度。通过对生成器和判别器进行交替训练，Real-ESRGAN可以不断优化生成器的性能，十七生成的高分辨率图像更加逼真。

Real-ESRGAN是在 ESRGAN的基础上使用纯合成数据来进行训练的，基本上就是通过模拟高分辨率图像变低分辩率过程中的各种退化，然后再通过低清图倒推出它的高清图。

本算法的模型部署方案包括模型转换和模型推理两个部分。其中

最低0.47元/天 解锁文章
博客
TPU编程竞赛系列｜第九届集创赛”算能杯”火热报名中！
02-06 937
第九届全国大学生集成电路创新创业大赛（以下简称“集创赛”）正式开始报名。算能在处理器应用方向特别设立了“TPU赋能的边缘计算架构优化与创新应用设计”赛题，诚邀各校参赛队伍充分发挥TPU的算力优势，探索将语言模型、边缘计算等技术移植并部署于TPU硬件设备上的创新方案。
博客
2025 CCF BDCI｜“基于TPU平台的OCR模型性能优化”一等奖作品
02-06 1158
2025 CCF BDCI大赛中，算能赛道推出了“基于TPU平台的OCR模型性能优化”的赛题，旨在探索如何通过高效的TPU硬件平台— Duo系列开发板，以及先进的算法优化技术，实现OCR模型在精度、速度和资源消耗等方面的全面优化，进而精确识别目标文本。
博客
算能竞赛硬件答疑与常见问题
08-08 1511
若您认为所开发的模型性能卓越、功能强大，且对其应用有明确需求，但遇到模型中包含不受支持的算子，建议首先尝试替换这些算子为受支持的等效算子。如果替换算子后模型的精度或功能受到显著影响，您可以考虑查阅相关文档，并在TPU-MLIR框架中实现自定义算子，以便完成模型的有效部署。请参见以下链接：TPU-MLIR开发参考手册 / 用户自定义算子SAIL (Sophon Artificial Intelligent Library) 是 sophon-sail 中的核心模块。
博客
实操: 如何在AirBox上跑Stable Diffusion 3
08-06 1431
以下文章来源于Radxa ，作者瑞莎是一种多模态扩散变换器 (MMDiT) 文本到图像模型，在图像质量、排版、复杂提示理解和资源效率方面具有显著提升的性能。目前瑞莎团队使用 Stable Diffusion 3 Medium 开源模型，通过 SOPHON SDK 移植到 SG2300X 处理器系列产品上进行本地 TPU 硬件加速推理，实现在 radxa Airbox 上离线快速生成特色风格且带清晰文本的图片。
博客
在 Duo S 上使用 TDL SDK 高效部署人脸检测模型
08-06 1006
TDL SDK 是一款集成算法开发包，提供了便捷的编程接口，使开发者们能够更快、高效地将各种深度学习技术应用于自己的产品和服务中。无论开发者是否是深度学习领域的专家，有了TDL SDK作为助手，都能轻松构建智能应用。本文我们将在 Duo S 上使用 TDL SDK 高效部署人脸检测模型
博客
RISC-V竞赛｜第二届 RISC-V 软件移植及优化锦标赛报名正式开始！
08-06 978
为了推动 RISC-V 软件生态更快地发展，吸引更多的开发者加入 RISC-V 生态中来，算能作为RISC-V生态的领先企业，并作为竞赛赛题合作方，与联合发起活动。
博客
太强了！Github大佬把NuttX移植到Duo-S上了！
08-06 982
Github大佬把NuttX移植到Duo-S上了！！Milk-V DuoS 是一款搭载SG2000 主控，拥有512MB内存和丰富 IO 接口的紧凑型嵌入式开发平台。它集成了 WI-FI 6/BT 5 无线功能，并配备 USB 2.0 HOST 接口和 100Mbps 以太网端口，方便用户使用。它支持双摄像头（2x MIPI CSI 2 通道）和 MIPI 视频输出（MIPI DSI 4 通道），可实现多种应用。
博客
TPU编程竞赛系列｜2024中国国际大学生创新大赛产业命题赛道，算能11项命题入选！
08-06 415
近日，（原“互联网+”大赛）产业命题正式公布，算能十一项命题成功入选。本次算能赛题主要聚焦于国产TPU处理器的边缘系统开发和RISC-V架构处理器的系统设计。大赛提供了多款开发板以供参赛者使用和选择，我们诚挚邀请广大开发者前来挑战！
博客
TPU编程竞赛系列｜第八届集创赛“算能杯“报名开启！
01-19 1484
CV1800B/SG200x 系列开发板是基于算丰CV1800B/SG200x处理器所设计的开源硬件，能够同时运行基于LINUX和RTOS的操作系统，为专业人士、工业OEM企业、物联网爱好者、业余爱好者、DIYers和创作者提供了一个可靠、低成本且极具功能的平台。我们期待参赛者们能够充分利用TPU算力，推动边缘设备智能化应用的创新和发展，在兼备边 缘系统创新性、实用性和复杂性的同时，鼓励将大语言模型、边缘计算等新兴技术应用于不同场景和垂直领域。可广泛用于教育、文旅、工业、园区、物联设备等。
博客
milkv-duo cvi-mmf 硬件加速 JPG 解码性能测试
01-19 1176
本文是基于 nihui 老师的 opencv-mobile 对其支持 milkv-duo cvi-mmf 硬件加速 JPG 解码的测试。opencv-mobile 现已支持 milkv-duo cvi-mmf 硬件加速 JPG 解码仅供学习交流使用，侵删！opencv-mobile highgui 模块在运行时动态加载 cvi 库，JPG 硬件解码无需修改代码，与自动支持支持EXIF自动旋转，支持直接解码为grayscale。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于QuickRNet的TPU超分模型部署
01-05 1482
为了结合1.2.1和1.2.2的优缺点，本方案提出使用膨胀推理多推少取的方案，将原始图像四周填充10个像素，采用192*192的滑窗，按照182的步长进行滑动，其中10为超参数。相比于1.2.1的方案，有重叠区域的分块类似的但是采用滑窗步距为96，这种方案可以有效的减少1.2.1重叠区域带来的问题，但是如何融合重叠区域的结果是比较大的问题，采用均值的方案会让重叠区域采样的效果变得平滑，但是降低了锐化的效果，并且不同的滑窗步距会影响niqe值和推理的速度。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于FSRCNN的TPU平台超分辨率模型部署方案
12-28 1679
我们比较GSR与CSR和GSR与ESR的t检验p值，相较后者，GSR与CSR的p值较大，这也就意味着，从统计平均的意义而言，GSR与CSR之间的统计特性更加接近。受此启发，对于增大图像分辨率的任务，直接通过插值算法放大的质量通常比使用超分辨率模型放大的效果更差，因此我们可以仅使用超分辨率模型放大图像中对视觉效果影响更大的一部分，从而在时间和效果之间达到更好的平衡。实验结果表明，我们的方法在牺牲一部分图像质量评估指标NIQE的情况下，显著减少了处理时间，在赛题给定的评价指标上具有较高的得分。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于预训练ESPCN的轻量化图像超分辨率模型TPU部署方案
12-28 1556
考虑到TPU设备的计算性能相对较低，我们主要调研了轻量化的图像和视频超分辨率网络，并先后尝试了Real-ESRGAN[1]、NinaSR[4]、CARN、FSRCNN、ESPCN[2]等多种网络结构，最后选定了使用ESPCN。模型编译过程中需要确定输入张量的尺寸，虽然TPU文档里指出支持动态大小输入，但可用的SDK并未提供此功能，因此为了应对尺寸各异的输入图像，做统一尺寸的图像分块是必要的步骤。分块大小直接决定了分块数量，间接决定了模型处理处理的事件，因此合适的分块大小选取可以节省不必要的额外计算开销。
博客
拥抱开源生态，算能携手软件所 PLCT 实验室联合举办 RISC-V 软件移植优化锦标赛
11-17 444
RISC-V已在MCU/IoT领域出货数十亿，正向桌面计算、HPC、AI、数据中心等大算力领域挑战。为了推动RISC-V生态迅速发展，算能作为RISC-V生态的领先企业，与RISC-V 中国社区、中科院软件所PLCT实验室联合发起“RISC-V软件移植及优化锦标赛”活动。算能致力于成为全球领先的通用算力提供商，专注于深度学习、RISC-V 处理器等算力产品的研发和推广应用，遵循全面开源开放的生态理念 ，为互联网、城市运营、智算中心、泛安防、智能制造、AIGC等应用场景提供算力产品及整体解决方案。
博客
Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
11-08 864
近日，2023第五届全球校园人工智能算法精英赛正式开启报名。作为赛题合作方，清湛联合算丰承办了“算法专项赛”赛道，提供赛题。，同时为参赛选手提供了丰富的云端TPU资源及Airbox算力硬件。「面向Stable Diffusion的图像提示语优化」
博客
Duo cv1800b first time 搭建C编译及远程gdb环境
11-06 660
使用Duo 搭建C编译及远程gdb环境教程。
博客
stb_image jpg解码 RVV优化和在 milkv-duo 上的测试
10-12 358
来源：转载自https://forum.sophgo.com/t/stb-image-jpg-rvv-milkv-duo/240，原作者stb_image jpg解码 RVV优化和在 milkv-duo 上的测试。
博客
TPU编程竞赛｜算丰助力2023 CCF大数据与计算智能大赛！
10-09 447
Stable Diffusion模型以扩散过程为基础，能够精准捕捉图像细节和纹理，开创了图像生成领域的新可能性。但直接利用模型生成高分辨率图像的效率较低，通常需要将其与超分辨率重构模型结合。因此，借助TPU平台部署高效的超分辨率模型，有利于进一步挖掘Stable Diffusion模型潜力，提升高分辨率图像生成效率。
博客
TPU编程竞赛｜Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
10-09 2782
TPU编程竞赛，提供如何在TPU部署Demo关注算丰SOPHON，参与更多赛事。
博客
TPU-MLIR——实现Chatglm2-6B大模型移植部署
09-21 733
本项目实现BM1684X部署语言大模型。通过编译器将模型转换成bmodel，并采用c++代码将其部署到BM1684X的PCIE环境，或者SoC环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值