高性能深度学习推理平台 OpenPPL 正式开源！

最新推荐文章于 2025-04-23 14:19:10 发布
最新推荐文章于 2025-04-23 14:19:10 发布
阅读量2.4k 收藏
点赞数
文章标签： 人工智能 机器学习 深度学习 github 软件框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Aceyclee/article/details/118725148
版权
商汤科技在WAIC上开源了OpenPPL，这是一个基于自研高性能算子库的深度学习推理平台，可在CPU、GPU上高效运行AI应用。OpenPPL提供极致性能，支持OpenMMLab模型部署，且具备云上多后端部署能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

OpenPPL 是商汤基于自研高性能算子库的开源深度学习推理平台，能够让人工智能应用高效可靠地运行在现有的 CPU、GPU 等计算平台上，为云端场景提供人工智能推理服务。

OpenPPL

官网：openppl.ai

在刚刚举行的 2021 世界人工智能大会（WAIC）上，商汤科技正式推出 OpenPPL 计划 —— 决定将深度学习推理部署引擎 SensePPL 中云端推理的能力开源给技术社区，从而加速 AI 技术的普及与进步！

SensePPL

▎把推理交给 OpenPPL，把时间还给思考

OpenPPL 基于全自研高性能算子库，拥有极致调优的性能；同时提供云原生环境下的 AI 模型多后端部署能力，并支持 OpenMMLab 等深度学习模型的高效部署。

一、高性能

设计微架构友好的任务/数据/指令等多级并行策略，自研 NV GPU、 x86 CPU 计算库，满足部署场景对神经网络推理、常用图像处理的性能需求

  • 支持 GPU T4 平台 FP16 推理
  • 支持 CPU x86 平台 FP32 推理
  • 核心算子优化ÿ
最低0.47元/天 解锁文章
Aceyclee
关注
OpenPPL PPQ量化(4)：计算图的切分和调度 源码剖析
沉迷单车的追风少年
02-08 1088
上一篇博客讲了计算图的加载和预处理，真是费了不少劲啊……这一篇博客和大家一起学习PPQ精髓之一：计算图的分割与调度。第一讲就说过PPQ把计算图分成了三类：可量化、不可量化、争议区。计算图分割的目的就是把这三类区域分割出来；为了适应多平台，PPQ已经在计算图的调度上也分了很多种，我们一一道来。
Aphrodite Engine:开源大规模推理引擎的实践指南
qq_29929123的博客
08-30 1036
Aphrodite Engine是一个开源的大规模推理引擎,专为服务于PygmalionAI网站上的大量用户而设计。使用vLLM的注意力机制,实现快速吞吐和低延迟支持多种最先进的采样方法集成Exllamav2 GPTQ内核,在较低批量大小下提供更好的吞吐量这些特性使Aphrodite Engine成为部署和服务大规模语言模型的理想选择。Aphrodite Engine为大规模语言模型的部署和服务提供了一个强大而灵活的解决方案。通过与LangChain的无缝集成,开发者可以轻松构建复杂的AI应用。
OpenPPL 开源——新的起点，面向未来
Aceyclee的博客
07-16 991
上篇文章分享了《高性能深度学习推理平台 OpenPPL 正式开源》 今天继续和大家唠一唠 OpenPPL 的由来，这还得从 SensePPL 说起： SensePPL 是什么？ SensePPL 是商汤 HPC 团队从 2015 年开始精心打造的多后端深度学习推理部署引擎。训练平台训练好的模型，可以通过转换成 onnx 等标准格式，使用 SensePPL 进行快速推理部署。 SensePPL 会对模型进行加载转换，生成有向图和执行计划，进行图级别的优化，运行时调用深度调教过的算子库进行推理计算。所有核心框架
全球首个软硬件推理平台 ：NVDLA 编译器正式开源
HyperAI超神经
09-16 915
By 超神经场景描述：为深度学习设计新的定制硬件加速器，是目前的一个趋势，但用一种新的设计，实现最先进的性能和效率却具有挑战性。近日，英伟达开源了软硬件推理平台 NVAD...
AI推理平台哪家强
最新发布
weixin_46880696的博客
04-23 985
每个 Actor 作为模型推理的基本单元，可以将各种推理后端集成到 Actor 中，从而支持多个推理引擎和硬件。Xinference 支持多种推理引擎，Xinference需要单独安装支持的推理引擎，当满足模型格式为pytorch、gptq或者awq等条件时，Xinference 会自动选择 vLLM 作为引擎来达到更高的吞吐量。此外，Xinference 也支持 SGLang 后端，可根据具体的模型和应用需求，灵活选择使用 SGLang 进行推理，以充分发挥其在集群部署、大规模模型推理等方面的优势。
prometheus变量_Prometheus配置文件说明
weixin_42391485的博客
01-28 2331
# Kubernetes的API SERVER会暴露API服务，Promethues集成了对Kubernetes的自动发现，它有5种模式：Node、Service# 、Pod、Endpoints、ingress，下面是Prometheus官方给出的对Kubernetes服务发现的实例。这里你会看到大量的relabel_configs，# 其实你就是把所有的relabel_configs去掉一样可以...
企业级 AI人工智能训练推理平台, 开源！人工智能时代的必备平台
EnjoyEDU的博客
12-30 2248
一站式AI人工智能训练推理平台是一个集成了AI模型训练、推理（或称为部署）、资源管理、监控和日志等功能的综合系统。这样的平台旨在简化AI开发流程，提高开发效率，并优化资源利用。
AI人工智能训练推理平台——数算岛开源AI计算平台=GPU池化软件
李文慧 中国开源充电桩平台第一人；李文慧 国内知名开源工作者 全栈工程师 华为云最具价值专家
03-15 1798
【开源GPU池化平台】AI训练GPU池化软件 | (AI人工智能训练平台、AI人工智能推理平台) 是一站式全流程人工智能平台，平台打通模型开发与训练，原生支持多机多卡训练环境，优化 AI 场景下 IO 吞吐、持久化、结构化维护模型生产信息，优化数据资源共享路径，最终提高平台整体资源利用率，消除信息孤岛，大幅提高 AI 算法工程师工作效率，使其聚焦于算法与模型开发的核心工作，利用有限的资源更快挖掘商业价值与远见洞察。。提高企业对于 AI 应用的研发效率。平台支持数据共享、模块复用，为团队协作提供了便捷。
【跨平台性能比拼】：极智AI与商汤OpenPPL在不同操作系统上的表现分析
本文针对跨平台性能分析的理论基础与实际应用进行了深入研究，特别关注了极智AI平台和商汤OpenPPL平台的技术剖析、性能比拼的实验设计与实施，以及案例分析与行业应用。通过对极智AI和商汤OpenPPL的核心架构、并发...
大模型训练和推理
weixin_45325331的博客
02-27 4538
大模型训练moe是指混合专家（Mixture-of-experts，简称MoE）的，这是一种用于提高大型神经网络性能的技术，它可以将模型的一部分替换为多个专家，每个专家只负责处理一部分输入数据，从而增加模型的参数量和表达能力，同时减少计算量和训练时间。指令可以作为模型的输入的一部分，也可以作为模型的输出的一部分，具体取决于任务的类型。上下文扩展技术的，这是一种用于提高大型语言模型（LLM）对长文本的处理能力的技术，它可以让模型在不增加参数量的情况下，扩展其注意力范围，从而提高模型的语言理解和生成能力。
深度学习-64-大语言模型LLM之国内主流AI大模型架构及应用场景深度分析
qq_20466211的博客
04-23 1851
国内主流AI大模型
浅谈AI+工业视觉检测技术应用的优化
m0_49711991的博客
08-23 770
视觉是人类获取信息最主要的渠道，它使人们得以感知和理解周边的世界。通过视觉，人类可以感知外界物体的大小、明暗、颜色、动静，获得对机体生存具有重要意义的各种信息。人类的大脑皮层约有70%都在处理视觉信息，因此可以说视觉是人类最重要的感觉。机器视觉又称计算机视觉（CV），通过电子化的方式来感知和理解影像，让机器或计算机可以像人类那样“看”，甚至达到超越人类视觉智能的效果。随着工业自动化技术向着智能化方向演进，工业场景对计算机视觉技术的需求持续推进着工业机器视觉技术的发展。
探索未来智能：Pal - 理解、推理与决策的开源平台
gitblog_00065的博客
04-26 397
探索未来智能：Pal - 理解、推理与决策的开源平台 pal PaL: Program-Aided Language Models (ICML 2023) 项目地址: https://gitcode.com/gh_mirrors/pal1/pal ...
MMP自动推理平台软件
03-01
MMP自动推理平台软件<br>数学机械化
开源项目介绍 ｜TNN-跨平台AI推理框架
腾讯开源
06-20 1625
2021腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划提交项目ProposalTNN项目介绍 标签：人工智能 技术栈：C++，Pytho...
AI大模型推理速度翻倍，Colossal-Inference开源发布
luchentech的博客
05-22 1198
潞晨科技公司为此打造了高效易用的Colossal-Inference推理引擎，可显著提高AI大模型吞吐速度，以应对推理场景中的性能瓶颈和成本挑战。该推理引擎集成了分块显存管理与分页注意力算法，预设与自定义模型优化策略，连续批处理调度。预设中提供高性能手写算子, 第三方的算子加速库；而在预设之外，用户可以通过使用基础算子与模型层，自行搭建自定义模型优化策略，对指定模型进行优化。
SnnGrow文章推荐:高性能深度学习推理引擎 - OpenPPL
OpenSnn开源社区
04-06 545
OpenPPL基于全自研高性能算子库，拥有极致调优的性能，同时提供云原生环境下的 AI模型多后端部署能力，并支持OpenMMLab等胜读学习模型的高效部署。
【ppl】——推理引擎openppl
怡宝2号
12-07 539
来自商汤的直播
深度学习训练与推理计算平台硬件配置完美选型2020v1
like_study_cat的博客
03-09 570
http://www.xasun.com/article/22/2427.html
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值