PaddleSlim +​OpenVINO助力开发者实现Al模型量化与部署

原创 于 2023-07-19 19:58:20 发布 · 281 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#openvino #人工智能

14d16bd9412636fcd32225168a6c6992.gif

低比特量化是深度学习中一个很有价值的方法，它将连续的浮点数数值映射到低比特表示的离散整数数值，可以显著减少深度学习模型的存储资源占用和计算量，使其更高效、更容易部署在资源受限的设备上。

基于百度飞桨与英特尔在量化方面的深度合作，7月28日，百度飞桨与英特尔团队的资深工程师将与大家共同探讨量化压缩与推理的联合优化问题，介绍OpenVINOTM如何对PaddleSlim量化模型进行支持。在本次演讲中，我们将探讨可应用于深度学习模型的不同类型的量化技术。此外，还将介绍神经网络压缩框架( NNCF )，以及其如何进一步为OpenVINOTM工具套件进行加持，从而实现卓越性能。

您将学习到:

  • 量化技术的价值以及不同类型的量化技术

  • 如何基于OpenVINOTM工具套件使用NNCF

  • 通过Jupyter Notebook演示量化前后的神经网络图，并进行性能比较

  • 以目标检测任务为例，基于无人机巡检场景介绍OpenVINOTM对飞桨量化模型的支持

诚邀您参加此次会议，扫码下图二维码立即报名参会，和我们一起走近模型量化之旅!

9e1db84b77b5f22df4b54f556123857f.png

c56e7085303de63c4f7e157e8ada5db5.gif

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~

博客
DeepSeek多模态统一模型Janus算法解析
02-19 1843
DeepSeek 的 Janus 和 Janus-Pro 在多模态理解与生成领域展现了强大的能力。Janus 通过解耦视觉编码，为多模态任务提供了一个灵活的框架。而 Janus-Pro 则通过优化训练策略、扩展数据规模和增加模型参数，进一步提升了模型的性能。PaddleMIX中已经复现了Janus 和 Janus-Pro 的推理流程，通过解析代码我们也更深入地理解模型的实现细节和技术创新，快跟着飞桨星河社区教程链接一起动手实践一下吧！论文链接：项目地址：aistudio教程链接：。
博客
FastDeploy 2.0：大模型高效部署套件，文心4.5原生，释放最优推理性能！
07-25 1417
在ERNIE-4.5轻量级模型上，FastDeploy也表现出优异的性能，我们和参数规模接近的Qwen3模型进行性能比较，测试条件为，数据集输入长度1.1K，A3B模型在H800上约束TPOT不超过25ms，0.3B及0.6B模型在A30上约束TPOT不超过16ms，可以看到相同模型FastDeploy较vLLM性能领先5%、12%，ERNIE 4.5轻量级MoE模型分别比Qwen3 对应轻量模型性能快99%、118%（具体数据请见下图）通过对MTP 采取PD分离减少通讯量，加速端到端推理性能。
博客
文档解析PP-StructureV3：PDF秒变高质量Markdown文件-PaddleOCR 3.0全栈技术解密系列
06-17 3267
PP-StructureV3采用了一种精细化的模型组合策略，通过高效协调不同模型的输入输出，来实现高精度的文档解析。首先，文档图像经过文档预处理（可选），然后执行版面区域分析和文字识别。接下来，版面区域分析和文字识别的融合结果会基于其所属的不同版面类型被分别传送到表格识别、公式识别、图表解析和印章识别等多个子模块。最后，阅读顺序恢复模块对不同版面区域的识别结果基于人类阅读顺序进行排序，生成最终的文档解析结果——对应的Markdown文档和JSON文件。
博客
多模态理解大模型高性能优化丨前沿多模态模型开发与应用实战第七期
05-23 1787
一、引言在前序课程中，我们系统剖析了多模态理解大模型（Qwen2.5-VL、DeepSeek-VL2）的架构设计。鉴于此类模型训练需消耗千卡级算力与TB级数据，实际应用中绝大多数的用户场景均围绕推理部署展开，模型推理的效率影响着用户的实际体验。本次将聚焦工业级部署的核心挑战——多模态理解大模型的高性能推理优化。飞桨（PaddlePaddle）作为国内领先的深度学习框架，在多模态模型的高性能推理方面具有显著优势和亮点：高效的推理引擎优化的计算算子。
博客
PaddleOCR 3.0发布：OCR精度跃升13%，支持多语种、手写体与高精度文档解析
05-21 3359
PaddleOCR自发布以来凭借学术前沿算法和产业落地实践，受到了产学研各方的喜爱，并被广泛应用于众多知名开源项目，如Umi-OCR、OmniParser、MinerU、RAGFlow等，已成为广大开发者心中的开源OCR领域的首选工具。2025年5月20日，，全面适配飞桨框架3.0正式版，进一步，支持，满足大模型应用对的旺盛需求，结合显著提升关键信息抽取精度，并新增对的支持。PaddleOCR3.0全景图全场景文字识别模型PP-OCRv5。
博客
Wan2.1和HunyuanVideo文生视频模型算法解析与功能体验丨前沿多模态模型开发与应用实战第六期
04-24 2501
基于飞桨多模态大模型开发套件PaddleMIX，详细解读文生视频、图生视频模型Wan2.1和HunyuanVideo
博客
大模型训练代码开发再提效——3行代码就能实现分布式训练！飞桨框架3.0自动并行功能现已正式上线！
04-23 1404
分布式训练界的Python来了！
博客
FLUX文生图大模型算法解析与功能体验丨前沿多模态模型开发与应用实战第五期
04-17 1896
基于飞桨多模态大模型开发套件PaddleMIX，详细解读多模态文生图模型FLUX。
博客
飞桨新一代框架3.0正式发布：加速大模型时代的技术创新与产业应用
04-01 1316
飞桨框架3.0已全面开放，兼容2.0版本的开发接口，欢迎广大开发者使用和反馈。
博客
PaddleX上线小目标检测模型产线，支持遥感分析、智能监控、智慧交通等领域高效应用
03-31 1914
小目标检测通常指的是在图像或视频中精确地检测和定位尺寸较小、面积较小的目标物体，这些目标在图像中的像素尺寸通常较小，可能小于32像素×32像素（根据MS COCO等数据集的定义），且可能被背景或其他物体所掩盖，难以被肉眼直接观察出来。在许多应用场景中，小目标的检测都至关重要。例如，在遥感图像中检测小型车辆或建筑，可以帮助城市规划和交通管理；在自动驾驶中，检测远处的小型障碍物可以提高行车安全；在医学图像中，检测微小病灶能够辅助医生进行早期诊断。
博客
PP-ChatOCRv3新升级：多页PDF信息抽取支持自定义提示词工程，拓展大语言模型功能边界
03-31 1473
早期进行文本图像信息抽取时，如从身份证、营业执照中提取信息，通常预先设定好关键词（如姓名、公司名称等），再查找与之相关的信息。然而，在实际应用中，关键信息往往以问题的形式呈现，例如在研报中查询《哪吒2》的票房数，要回答此类问题就需要对提示词进行修改。本次升级支持自定义提示词工程，涵盖问题描述、提取规则、结果规范以及少样本学习等方面，可根据实际问题灵活调整，从而拓展大语言模型在信息抽取方面的功能边界。
博客
飞桨PP系列新成员PP-DocLayout开源，版面检测加速大模型数据构建，超百页文档图像一秒搞定
03-28 2473
文档版面区域检测技术通过精准识别并定位文档中的标题、文本块、表格等元素及其空间布局关系，为后续文本分析构建结构化上下文，是文档图像智能处理流程的核心前置环节。随着大语言模型、文档多模态及RAG（检索增强生成）等技术快速发展，高质量结构化数据已成为模型训练与文档知识库构建的关键需求。基于版面检测模型定位识别文档图像的布局，结合如文本识别、公式识别、表格识别及信息抽取等下游任务，能够为大模型产出丰富的结构化训练数据，增强大模型的公式理解、表格解析以及对文档层次结构的理解能力。
博客
特色模型开源！飞桨PP系列新成员PP-FormulaNet助力大模型科研数据构建，公式识别提速16倍
03-28 1689
公式作为科学文献、技术文档及教育资料的核心知识载体，承载着人类文明的抽象逻辑与数学表达。随着大语言模型、多模态模型及科学计算智能化的发展，‌。
博客
PP-TableMagic开源，支持全场景高定制化微调，大模型时代表格结构化信息提取新神器
03-27 2292
飞桨PP-TableMagic创新双流架构，端到端高精度识别，赋能大模型时代表格结构化信息提取。
博客
前沿多模态模型开发与应用实战第四期：多模态理解趣味应用
03-27 1470
利用多模态理解模型打造集图像理解、文学创作、命理分析和繁体文献研究于一体的多模态创意平台。
博客
前沿多模态模型开发与应用实战3：DeepSeek-VL2多模态理解大模型算法解析与功能抢先体验
03-20 2342
基于飞桨多模态大模型开发套件PaddleMIX，详细解读多模态理解模型DeepSeek-VL2。
博客
哇塞！只需三步，带你飞速蒸馏DeepSeek R1！
03-18 1978
基于PaddleNLP的DeepSeek-R1模型蒸馏，大模型精调流程助力模型更佳业务效果，降低大模型应用部署难度与成本
博客
飞桨框架3.0推理升级：支持多款主流大模型、DeepSeek-R1满血版实现单机部署，吞吐提升一倍！
03-14 1585
MLA、MTP、量化优化全面突破，4比特单机高效部署，开箱可用！
博客
通用信息抽取大模型PP-UIE开源发布，强化零样本学习与长文本抽取能力，全面适配多场景任务
03-05 2598
信息抽取（information extraction）是指，从非结构化或半结构化数据（如自然语言文本）中自动识别、提取并组织出结构化信息。通常包含多个子任务，例如：命名实体识别（NER）、关系抽取（RE）、事件抽取（EE）。由于任务目标的多样性（如实体、关系、事件和情感等）、文本结构的异构性（如片段、三元组、记录等）以及特定应用需求的多变性，传统的信息抽取方法往往针对特定任务或领域进行优化，难以在跨任务或跨领域的情境中迁移和泛化。随着大语言模型的发展，通用信息抽取大模型逐渐成为主流。
博客
前沿多模态模型开发与应用实战第二期：Qwen2-VL系列多模态理解大模型算法解析与功能抢先体验
03-05 2378
以飞桨多模态开发套件 PaddleMIX 中 Qwen2.5-VL 的实现为例，对代码进行逐步解读。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值