编译 PaddlePaddle 模型

飞桨3.0 CINN编译器:深度学习模型部署优化实战 神经网络编译器作为AI模型部署的关键技术,通过将高层计算图转换为底层硬件指令,显著提升推理性能。其核心原理包括多层中间表示(IR)转换、算子融合和内存优化等技术,能够自动识别矩阵乘、卷积等典型AI计算模式。在工程实践中,这类编译器可解决训练模型到生产环境部署的"最后一公里"问题,特别适用于计算机视觉和自然语言处理等场景。飞桨3.0的CINN编译器作为国产深度学习框架的重要突破,支持LLVM、NVPTX等多种后端,实测在ResNet50等模型上可获得30%以上的性能提升。其自动融合技术能识别conv2d+re 阅读详情

本篇文章译自英文文档 Compile PaddlePaddle Models tvm 0.14.dev0 documentation

作者是 ZiyuanMa (Ziyuan Ma) · GitHub

更多 TVM 中文文档可访问 →Apache TVM 是一个端到端的深度学习编译框架,适用于 CPU、GPU 和各种机器学习加速芯片。 | Apache TVM 中文站

本文介绍如何用 Relay 部署 PaddlePaddle 模型,首先安装 PaddlePaddle(版本>=2.1.3),可通过 pip 快速安装:

pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple

或参考官方网站:
https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/install/pip/linux-pip.html

import tarfile
import paddle
import numpy as np
import tvm
from tvm import relay
from tvm.contrib.download import download_testdata

输出结果:

/usr/local/lib/python3.7/dist-packages/paddle/vision/transforms/functional_pil.py:36: DeprecationWarning: NEAREST is deprecated and will be removed in Pillow 10 (2023-07-01). Use Resampling.NEAREST or Dither.NONE instead.
  'nearest': Image.NEAREST,
/usr/local/lib/python3.7/dist-packages/paddle/vision/transforms/functional_pil.py:37: DeprecationWarning: BILINEAR is deprecated and will be removed in Pillow 10 (2023-07-01). Use Resampling.BILINEAR instead.
  'bilinear': Image.BILINEAR,
/usr/local/lib/python3.7/dist-packages/paddle/vision/transforms/functional_pil.py:38: DeprecationWarning: BICUBIC is deprecated and will be removed in Pillow 10 (2023-07-01). Use Resampling.BICUBIC instead.
  'bicubic': Image.BICUBIC,
/usr/local/lib/python3.7/dist-packages/paddle/vision/transforms/functional_pil.py:39: DeprecationWarning: BOX is deprecated and will be removed in Pillow 10 (2023-07-01). Use Resampling.BOX instead.
  'box': Image.BOX,
/usr/local/lib/python3.7/dist-packages/paddle/vision/transforms/functional_pil.py:40: DeprecationWarning: LANCZOS is deprecated and will be removed in Pillow 10 (2023-07-01). Use Resampling.LANCZOS instead.
  'lanczos': Image.LANCZOS,
/usr/local/lib/python3.7/dist-packages/paddle/vision/transforms/functional_pil.py:41: DeprecationWarning: HAMMING is deprecated and will be removed in Pillow 10 (2023-07-01). Use Resampling.HAMMING instead.
  'hamming': Image.HAMMING

加载预训练的 ResNet50 模型

加载 PaddlePaddle 提供的 ResNet50 预训练模型:

url = "https://bj.bcebos.com/x2paddle/models/paddle_resnet50.tar"
model_path = download_testdata(url, "paddle_resnet50.tar", module="model")

with tarfile.open(model_path) as tar:
    names = tar.getnames()
    for name in names:
        tar.extract(name, "./")

model = paddle.jit.load("./paddle_resnet50/model")

输出结果:

/usr/local/lib/python3.7/dist-packages/paddle/fluid/backward.py:1666: DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' is deprecated since Python 3.3,and in 3.9 it will stop working
  return list(x) if isinstance(x, collections.Sequence) else [x]

加载测试图像​

还是用猫的图像:

from PIL import Image
import paddle.vision.transforms as T

transforms = T.Compose(
    [
        T.Resize((256, 256)),
        T.CenterCrop(224),
        T.ToTensor(),
        T.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
    ]
)

img_url = "https://github.com/dmlc/mxnet.js/blob/main/data/cat.png?raw=true"
img_path = download_testdata(img_url, "cat.png", module="data")
img = Image.open(img_path).resize((224, 224))

img = transforms(img)
img = np.expand_dims(img, axis=0)

使用 Relay 编译模型​

target = "llvm"
shape_dict = {"inputs": img.shape}
mod, params = relay.frontend.from_paddle(model, shape_dict)

with tvm.transform.PassContext(opt_level=3):
    executor = relay.build_module.create_executor(
        "graph", mod, tvm.cpu(0), target, params
    ).evaluate()

输出结果:

/workspace/python/tvm/driver/build_module.py:268: UserWarning: target_host parameter is going to be deprecated. Please pass in tvm.target.Target(target, host=target_host) instead.
  "target_host parameter is going to be deprecated. "

在 TVM 上执行​

dtype = "float32"
tvm_output = executor(tvm.nd.array(img.astype(dtype))).numpy()

查找分类集名称​

在 1000 个类的分类集中,查找分数最高的第一个:

synset_url = "".join(
    [
        "https://gist.githubusercontent.com/zhreshold/",
        "4d0b62f3d01426887599d4f7ede23ee5/raw/",
        "596b27d23537e5a1b5751d2b0481ef172f58b539/",
        "imagenet1000_clsid_to_human.txt",
    ]
)
synset_name = "imagenet1000_clsid_to_human.txt"
synset_path = download_testdata(synset_url, synset_name, module="data")
with open(synset_path) as f:
    synset = f.readlines()

top1 = np.argmax(tvm_output[0])
print(f"TVM prediction top-1 id: {top1}, class name: {synset[top1]}")

输出结果:

TVM prediction top-1 id: 282, class name:  282: 'tiger cat',

下载 Python 源代码:「链接」

下载 Jupyter Notebook:「链接」

飞桨x昇腾生态适配实战:PaddleOCR模型转OM全流程解析 本文详细解析了将飞桨PaddleOCR模型转换为昇腾OM模型的全流程,涵盖环境准备、模型固化、Paddle2ONNX转换及ATC编译等关键步骤。通过实战案例与避坑指南,帮助开发者高效完成飞桨与昇腾生态的适配,实现AI模型在昇腾硬件上的高性能部署。 阅读详情

相关推荐

信号转换为图像 时域频域分析

一维信号如何转化为图像?深度学习如何学习 1.当然,直接1d卷积也是可以的。 2. 以信号强度的数值作为纵坐标,以时间为横坐标绘制信号点就可以了。 周霖那个即是 要看看代码是如何做的, 即使是单导联 5000个点,怎么变成50005000的分辨率的 3. 直接把多通道的一维信号合并成二维图像,然后直接按图像卷积的方法去做~~ 2225000这样一个图 ~可以看看语音处理的相关Net,其中比较...

王不留行嘿呦嘿 2万+

【Paddle】新手小白用win10、anaconda、安装Paddle

Environment Requirements • PaddlePaddle 2.1 (Get API support) • OS: 64-bit(Going to run 64-bit programs) • Python 3(3.5.1+/3.6/3.7/3.8/3.9),64-bit version • pip/pip3(9.0.1+),64-bit version (Get environment support) • CUDA >= 10.1 (NVIDIA GPU Parallel Co

weixin_46053019的博客 5110

从0开始图形学(光栅化)

从0开始图形学

A112459的专栏 2397

安装paddlepaddle与PaddleOCR

我们以python3.7.10为例 paddle官网 CPU版 python -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple 然后检查一下 python -c "import paddle;paddle.utils.run_check()" GPU版 gpu要求 CUDA 工具包10.1/10.2 配合 cuDNN 7 (cuDNN版本>=7.6.5) CUDA 工具包11.0配合cuDN.

思维缜密的博客 3906

VSCode + QMT 量化交易完整解决方案!

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值 。

**My Coding Family** 1332

什么是 PD 电压诱骗?

电压诱骗” 的意思就是,使用某些方法让 PD 充电器误以为设备需要更高的电压,从而让充电器提供比实际需要更高的电压。手机可能只需要 5V,但笔记本电脑可能需要 20V,通过 PD 协议,充电器能够根据设备的需求输出合适的电压和电流。在“电压诱骗”的情况下,你通过某种手段让充电器以为设备需要 12V,于是充电器会按照这个伪造的请求输出 12V,而不是默认的 5V。充电器评估自己的能力,如果可以提供设备需要的电压和电流,它会调整输出电压,从默认的 5V 切换到设备请求的电压(如 12V)。

qq_45430571的博客 2661

终极指南:飞桨JIT即时编译技术如何加速你的深度学习模型部署与性能优化

飞桨PaddlePaddle作为工业级深度学习框架,其JIT(即时编译)技术为模型部署和性能优化提供了强大支持。本文将深入解析飞桨JIT技术的核心原理、应用场景及优化技巧,帮助开发者快速掌握这一提升模型效率的关键工具。 ## 飞桨JIT技术:深度学习性能优化的秘密武器 🚀 飞桨JIT技术通过动态生成优化的机器码,实现了模型训练与推理的高效执行。不同于传统的静态编译方式,JIT技术能够根据运行

gitblog_00432的博客 1091

Python全栈入门到实战【基础篇 04】核心基础:变量与4种基础数据类型(int/float/str/bool)

本文介绍了Python编程中的变量和四种基础数据类型,作为后续所有语法的入门前提。变量是数据的“容器”,解决数据复用问题,而数据类型决定数据能进行的操作。文章详细讲解了变量的定义语法、命名规则(强制语法和推荐风格)、赋值与修改原理,并通过实操示例展示其应用场景。正确使用变量可以提升代码复用性、简化修改并增强可读性,是编程效率的核心原则。掌握这些基础知识能避免90%的新手语法错误,为学习更复杂的Python语法打下坚实基础。

那些看似不起波澜的日复一日,会在某天让你看到坚持的意义 4332

飞桨 CINN 编译器:深度学习模型低成本性能优化“利器”

具体为:设定初始值为0的原子计数器,每个 Block 先对其负责的数据归约,并将结果写入全局内存的中间结果区域,然后计数器执行加1操作。由于动态 shape 的引入,输入输出 Tensor shape 中动态维度可能使用符号表示(S0、S1),这些可变的符号导致编译优化时无法获取准确的元素总数用来判断是否发生越界,为了解决这个问题,我们可以简单的升级原有的化简逻辑:在存在动态 shape 的情况下,分别编译生成 int64、int32 两个版本的代码,并使用含有动态符号的元素总数作为分支判断的条件。

百度大脑 630

【读代码】SQLBot:开源自然语言转SQL智能助手原理与实践

SQLBot是 DataEase 团队开源的自然语言转 SQL 智能助手,致力于让非技术用户也能通过自然语言与数据库对话,自动生成 SQL 查询,实现自助数据分析、智能BI问答、报表生成等场景。SQLBot 结合了大语言模型(LLM)、数据库元数据解析、SQL解析与执行等多项技术,具备强大的多数据库适配能力和灵活的扩展性。降低数据分析门槛,让业务人员无需掌握SQL即可获取数据洞察支持多种数据库类型,适应企业多样化数据环境提供可扩展的API和插件机制,便于集成到各类BI、数据平台和业务系统。

kakaZhui的博客 831

PyCharm安装PyQt5及工具详细教程

PyCharm是一款功能强大的Python集成开发环境(IDE),而PyQt5是一个用于创建GUI应用程序的流行Python库。在本教程中,我将指导您如何在PyCharm中安装PyQt5及其相关工具,并提供相应的源代码示例。安装完成后,启动PyCharm并创建一个新的项目。为了隔离项目的依赖项,我们建议在PyCharm中使用虚拟环境。在创建项目的过程中,您可以选择创建新的虚拟环境或使用现有的环境。根据您的操作系统,选择适当的版本并按照安装向导的指示进行安装。首先,您需要下载并安装PyCharm。

CfProgram的博客 589

PP-DocLayoutV3开源可部署:飞桨官方模型镜像免编译一键运行(ins-doclayout-paddle33-v1)

本文介绍了如何在星图GPU平台上一键自动化部署PP-DocLayoutV3文档版面分析模型v1.0镜像。该镜像免除了复杂的编译配置,开箱即用。其核心应用场景是作为文档数字化流水线的预处理环节,智能识别文档中的正文、标题、表格等区域,从而大幅提升后续OCR处理的整体准确率和自动化水平。

weixin_28968525的博客 425

YOLO26涨点改进 | Conv篇/小目标改进 | AAAI 2025 FBRT-YOLO 两个轻量级FCM和MKP模块, 助力无人机航拍任务VisDrone、UAVDT和AI-TOD高效涨点

本文提出FBRT-YOLO26模型,通过引入两个轻量级模块FCM和MKP优化航拍图像检测性能。FCM模块通过特征互补映射解决小目标信息丢失问题,MKP模块利用多尺度卷积核增强目标感知能力。在VisDrone等数据集上的实验表明,该方法在精度和速度上均优于现有实时检测器。文章详细介绍了模块结构、核心代码实现及YAML配置文件修改方法,为航拍图像中的小目标检测提供了高效解决方案。该模型实现了检测精度与效率的良好平衡,具有实际应用价值。

Ai缝合怪、助力小伙伴高效发论文 369

4个核心步骤:飞桨PaddlePaddle深度学习框架从入门到环境部署

飞桨PaddlePaddle作为国内领先的开源框架,提供了高性能的深度学习解决方案,支持本地部署多种开发环境。本文将通过四个阶段,帮助开发者系统掌握飞桨框架的环境搭建与应用拓展,从认知框架原理到实际部署应用,构建完整的深度学习开发能力。 ## 一、认知框架:理解飞桨的技术内核 ### 框架本质:深度学习的"脚手架系统" 飞桨PaddlePaddle作为深度学习框架,其核心作用类似于建筑施工中

gitblog_00779的博客 332

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

深入解析PaddlePaddle IR中间表示:深度学习框架的核心技术指南

飞桨PaddlePaddle作为一款领先的深度学习框架,其IR(中间表示)是连接前端模型定义与后端高效执行的关键桥梁。本文将带你揭开Paddle IR的神秘面纱,从基础概念到实际应用,全面掌握这一核心技术。 ## 什么是PaddlePaddle IR? IR中间表示是深度学习框架中的"翻译官",它将开发者编写的模型代码转换为机器可理解的中间格式。在PaddlePaddle中,IR承担着模型优化

gitblog_00799的博客 884

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

3步搞定飞桨自定义算子开发:从入门到部署全指南

你是否还在为深度学习框架内置算子无法满足特定业务需求而烦恼?是否想优化模型性能却受制于固定的计算逻辑?本文将带你通过三个简单步骤,快速掌握飞桨PaddlePaddle自定义算子(Custom Operator)开发技术,让你的模型突破计算瓶颈,实现真正的个性化需求。读完本文,你将获得:自定义算子的完整开发流程、C++/Python混合编程技巧、以及从编译到测试的全链路实践经验。 ## 一、自定义...

gitblog_00821的博客 924

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

<span class=“js_title_inner“>让美好纪念,都触手可及!文心+飞桨携手厦门碳水时代助力AI影像实物化</span>

依托10,000+优质影像样本与50余种实物工艺参数(如热升华、UV打印、激光雕刻等),确保AI在生成影像的瞬间就能“读懂”材质特性,实现色彩与物理质感的完美对齐;这不再是简单的“打印”,而是通过算法驱动的全流程自动化即时生产,极大地降低了品牌方与赛事的运营门槛,实现降本增效。在AIGC浪潮席卷全球的今天,生成一张精美的数字影像是“指尖起舞”,但要将其转化为高质量的实物作品,却往往面临着“最后一步”的深壑。这种毫秒级的响应能力,确保了用户在文旅景区等场景下能“即刻生图,即刻带走”;

百度大脑 61

飞桨PaddlePaddle深度学习框架全面解析:从入门到精通的完整指南

飞桨PaddlePaddle是一款源自产业实践的深度学习框架,支持高性能单机、分布式训练和跨平台部署,是AI开发者的理想选择。无论你是刚入门的新手还是有经验的开发者,本指南都能帮助你快速掌握PaddlePaddle的核心功能和使用方法。 ## 认识飞桨PaddlePaddle 飞桨PaddlePaddle作为国内领先的深度学习框架,凭借其强大的功能和易用性,在工业界和学术界都得到了广泛应用。它

gitblog_01414的博客 368

【限时特惠】4.10热门项目推荐:Paddle - 国内首个自主研发的深度学习工业级平台

> 还在为深度学习框架的选择而烦恼?想要一个既支持前沿研究又能在工业场景稳定落地的国内平台?飞桨PaddlePaddle作为国内首个自主研发的工业级深度学习框架,正在重新定义AI开发体验! ## ???? 读完本文你能得到 - ✅ 飞桨PaddlePaddle核心特性全景解析 - ✅ 动静统一自动并行的技术实现原理 - ✅ 大模型训练推理一体化最佳实践 - ✅ CINN神经网络编译器深度剖析 - ...

gitblog_01412的博客 347

Paddle Lite 2.0 正式发布:更强大易用的端侧推理引擎

今年8月,飞桨(PaddlePaddle)对外发布面向终端和边缘设备的端侧推理引擎Paddle Lite Beta版。经过近两个多月的迭代和发展,“WAVE Summit+ ”2019深度学习开发者峰会上Paddle Lite 2.0 正式版发布。 Paddle Lite的Github链接: https://github.com/PaddlePaddle/Paddle-Lite ...

dadliao的博客 468

速度与技能的较量!飞桨黑客松 OpenVINO™ 任务获奖者经验分享

黑客松活动介绍飞桨黑客马拉松是一项兼具编程乐趣和挑战一项活动。通过该活动,我们能够接触并参与到企业建设的大型开源项目,提升个人编程能力,增强开源社区互动,推动开源生态发展。第四期飞桨黑客马拉松由深度学习技术及应用国家工程研究中心主办,飞桨承办,英特尔作为顶级赞助方,为我们带来了 OpenVINO™ 算子映射和增加 Notebook Demo 等任务。算子映射能够将 PaddlePaddle 模型中...

PaddlePaddle 239

飞桨 v3.3 深度解析:动静统一新范式,开启大模型“自动并行”时代

随着参数规模从亿级跃升至千亿级,传统的深度学习框架正面临前所未有的挑战。开发者在 PyTorch 或 TensorFlow 中往往需要花费 40% 以上的精力处理复杂的分布式通信代码。2026 年初,正式发布。作为国产深度学习框架的领头羊,v3.3 彻底打通了从研发到部署的最后一公里。

m0_68452529的博客 587

PaddlePaddle-OpenVINO算子映射指南

算子映射任务能够帮助我们了解算子的具体功能,理解模型在不同的AI框架中是如何进行转换的,对于新手来说是一份宝贵的学习经验。以下是我在开发过程中总结出来的一点经验,希望能够帮助到大家:

英特尔开发人员专区 4万+

飞桨AI应用@riscv OpenKylin

安装好飞桨,就可以用飞桨进行推理了。刚开始计划用ONNX推理,但是在算能云没有装上,所以最终是用的飞桨推理。但是还是用到了Paddle2ONNX里的代码。

skywalk8163的专栏 1655

《我的PaddlePaddle学习之路》笔记十四——把PaddlePaddle迁移到Android设备上

目录 目录 前言 编译PaddlePaddle库 使用Docker编译PaddlePaddle库 可能会出现的问题 使用官方的Docker容器 开始编译PaddlePaddle库 使用Linux编译PaddlePaddle库 安装依赖环境 配置编译环境 编译和安装 训练模型 定义神经网络 编写训练代码 初始化PaddlePaddle 获取训练参数 获取训练器 开始训练 编写预...

夜雨飘零 5151

飞桨新一代框架3.0:“动静统一自动并行、大模型训推一体”等新特性构筑大模型时代核心生产力

当前大模型主流训练方式,会用到多种并行策略,这些并行策略基于动态图模式实现的“手动”并行方式,即在单卡的基础上,手工处理切分(切分Tensor、计算图)、通信(添加通信算子)、显存优化(显存共享、Re-Compute)、调度优化(流水线编排、计算和通信异步)等策略,开发者既要熟知模型结构,也要深入了解并行策略和框架调度逻辑, 使得大模型的开发和性能优化门槛非常高。通过张量切分的标记和自动推导,我们可以表示复杂的分布式混合并行,下图展示了一个具体的数据并行、张量模型并行、流水线并行组成的混合并行的例子。

PaddlePaddle 1612
上一篇: 拒绝细胞衰老、远离老年疾病,爱丁堡大学给细胞开出 3 张「AI 抗衰处方」
下一篇: 特征选择策略:为检测乳腺癌生物标志物寻找新出口
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值