常见深度学习模型格式与对应加载执行库

最新推荐文章于 2025-12-02 20:45:02 发布
原创 最新推荐文章于 2025-12-02 20:45:02 发布 · 334 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #语言模型

部署运行你感兴趣的模型镜像
模型格式主要来源/用途对应加载与执行库支持语言/平台
PyTorch .pt / .pth / .ptlPyTorch 保存的模型或权重🔸 torch.load()（训练）🔸 torch.jit.load()（TorchScript 推理）Python / C++
TorchScript (.pt)PyTorch 的可执行格式（图模式）libtorch、torch.jitC++、Python
ONNX .onnx通用开放格式，可由 PyTorch、TensorFlow、MXNet 等导出🔸 onnxruntime（微软）🔸 TensorRT（NVIDIA）🔸 OpenVINO（Intel）🔸 MNN（阿里）🔸 TFLite（转换后）多平台（CPU/GPU/NPU）
TensorFlow SavedModel / .pbTensorFlow 模型保存格式🔸 tensorflow（官方）🔸 tf-serving（服务端）🔸 tflite（移动端）Python / C++ / Java
Keras .h5 / .kerasKeras 训练的模型🔸 keras.models.load_model()Python
TensorFlow Lite .tflite移动端 / 边缘设备优化格式🔸 tflite.InterpreterAndroid / iOS / Raspberry Pi
CoreML .mlmodel苹果生态模型格式🔸 coremltools / iOS CoreML RuntimemacOS / iOS
TensorRT .plan / .engineNVIDIA GPU 优化格式🔸 tensorrt Runtime / C++ APILinux / Windows（GPU）
OpenVINO IR .xml + .binIntel 推理优化格式🔸 openvino.runtime.Core()Intel CPU / GPU / VPU
MXNet .params + .jsonApache MXNet 模型🔸 mxnet.model.load_checkpoint()Python / C++
Caffe .prototxt + .caffemodelCaffe 模型🔸 caffe.Net()C++ / Python
PaddlePaddle .pdmodel + .pdparams百度飞桨🔸 paddle.inference.create_predictor()Python / C++
MindSpore .mindir华为 MindSpore🔸 mindspore.load_checkpoint() / load_mindir()Python
gguf / ggml / safetensorsLLM（大语言模型）高效格式🔸 llama.cpp、transformers、ctransformers、ggmlC++ / Python

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

AIGC实战——深度学习 (Deep Learning, DL)
盼小辉丶的博客
10-25 6万+
深度学习 (Deep Learning, DL) 是贯穿所有生成模型 (Generative Model) 的共同特征，几乎所有复杂的生成模型都以深度神经网络为核心，深度神经网络能够学习数据结构中的复杂关系，而不需要预先提取数据特征。在本节中，我们将介绍深度学习基本概念，并利用 Keras 构建深度神经网络。
Keras深度学习实战（35）——构建机器翻译模型
盼小辉丶的博客
11-09 7989
机器翻译，是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程，是人工智能的终极目标之一，具有重要的科学研究与实用价值，机器翻译技术在促进经济、文化交流等方面起到越来越重要的作用。本文中，首先介绍了机器翻译模型的基本原理，然后构建了两种不同的模型实现了机器翻译模型。
OpenCV加载深度学习框架与模型
weixin_42010722的博客
12-15 1万+
OpenCV加载深度学习框架与模型1.DNN模块模块简介2.DNN模块常用函数方法2.1 cv2.dnn.blobFromImage2.3 cv2.dnn.NMSBoxes2.4 cv2.dnn.readNet2.4.1 cv2.dnn.readNetFromCaffe2.4.2 cv2.dnn.readNetFromDarknet2.4.3 cv2.dnn.readNetFromTensorflow2.4.4 cv2.dnn.readNetFromTorch3.OpenCV使用预训练模型做应用3.1 加载
深度学习模型部署学习一
weixin_51179742的博客
07-14 7533
在软件工程中，部署指把开发完毕的软件投入使用的过程，包括环境配置、软件安装等步骤。对于深度学习模型来说，模型部署指让训练好的模型在特定环境中运行的过程。运行模型所需的环境难以配置。深度学习模型通常是由一些框架编写，比如 PyTorch、TensorFlow。由于框架规模、依赖环境的限制，这些框架不适合在手机、开发板等生产环境中安装。深度学习模型的结构通常比较庞大，需要大量的算力才能满足实时运行的需求。模型的运行效率需要优化。 step1. 使用任意一种深度学习框架来定义网络结构，并通过训练确定网络中的参数。
深度学习模型格式转换：pytorch2onnx（包含自定义操作符）
CITY_OF_MO_GY的博客
12-30 2334
假设我们想要实现一个自定义的ReLU6操作符。ReLU6是一种常用的激活函数，它与标准的ReLU类似，但有一个上限值 6。首先，我们需要在 C++ 中实现这个自定义操作符，并编译成一个共享库。PyTorch 提供了接口来注册自定义操作符，而 ONNX 则提供了来注册自定义操作符。我们可以在 C++ 中实现ReLU6操作符，并通过 PyTorch 的// 定义自定义的 ReLU6 操作符// 注册自定义操作符接下来，我们需要将这个 C++ 文件编译成一个共享库（例如.so。
PyInstaller打包深度学习模型代码详细教程
weixin_42112050的博客
03-16 5579
由于工作需求，需要使用Pyinstaller库将Python深度学习模型打包成exe文件，特此花几天时间查找资料，进行实验。将过程做个梳理，记录下来，方便自己和他人日后查询。
深度学习模型部署(五)onnx模型以及相应工具
qq_45983373的博客
03-12 2484
揭开onnx模型的神秘面纱，讲解了onnx模型的概念以及配套的工具
深度学习实战——模型推理优化（模型压缩与加速）
热门推荐
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
05-29 1万+
本篇博客主要介绍几种模型推理优化方法的原理，并进行了代码实践与优化（内含代码与数据集）。
深度学习网络模型介绍
qq_55481158的博客
03-20 3385
深度学习网络模型是一种基于人工神经网络的学习算法，它通过模拟人脑的工作方式来处理数据和识别模式。这些模型由多层（或“深度”）的神经网络组成，每一层都能够从输入数据中提取特征，并将这些特征传递给下一层，以此类推。深度学习模型在图像识别、语音识别、自然语言处理等多个领域都有广泛的应用。
深度学习的模型压缩与加速（万字长文带你入门）
ZhengrongYue的博客
10-29 5138
深度学习的模型压缩与加速
OpenCV-Python调用训练好的深度学习模型进行常见物体识别
03-24
本文将详细介绍如何使用OpenCV-Python调用预先训练好的深度学习模型来实现常见物体的识别，特别关注人和车辆的识别。 首先，深度学习是一种模拟人脑神经网络的工作方式，通过大量的数据训练，能够自动学习并提取...
OpenCV图像处理：深度学习模型部署指南
AI天才研究院
05-23 1077
随着深度学习在计算机视觉领域的广泛应用，将训练好的模型高效部署到实际场景（如智能摄像头、移动设备、工业机器人）成为关键挑战。OpenCV作为计算机视觉领域的主流框架，其DNN（Deep Neural Network）模块提供了跨框架模型加载、推理优化和硬件加速能力，支持从CPU到GPU、从边缘设备到服务器的全场景部署。如何将PyTorch/TensorFlow等框架训练的模型转换为OpenCV支持的格式？图像预处理和后处理如何与模型推理无缝集成？
第十二篇：模型部署的艺术：让深度学习模型跃入生产现实
凡江林的博客
04-23 1487
将一个深度学习模型从实验室带到最终用户手中的过程，可以看作是一次长途旅行。旅途开始于模型的训练，这是为旅行准备必需的知识和能力。随后，模型需要经过多轮的打包与优化，就像打包行李一样，既不能带得太多以至于负担沉重，也不能遗漏关键物品。接着，选择合适的部署环境，就如同选择旅行的目的地，可能是云环境，也可能是边缘设备。在这个过程中，模型会经历各种测试和优化，以确保它能够高效运行，并能够适应环境的变化。
【人工智能】【深度学习】④ Stable Diffusion核心算法解析：从DDPM到文本生成图像的飞跃
最新发布
xiezhiyi007的专栏
12-02 660
Stable Diffusion是AI绘画领域的革命性技术，其核心基于扩散模型：通过"拆快递"式的噪声添加（前向扩散）和"拼乐高"式的逐步去噪（逆向过程），实现从噪声到图像的构建。本文用快递分拣、乐高拼装等生活化类比，解析CLIP文本编码器（翻译文字指令）、VAE（图像压缩）和U-Net（智能拼图）三大核心组件。相比传统GAN模型，它避免模式崩溃，提升语义理解能力，成为文本生成图像的黄金标准。通过代码与架构图解析，帮助开发者快速掌握这项技术的核心逻辑。
基于LSTM-GARCH混合模型：降息预期驱动金价攀升，白银刷新历史峰值的蒙特卡洛模拟验证
12-01 564
本文通过构建宏观经济变量与贵金属价格联动的AI量化模型，结合市场情绪分析算法与历史数据回溯，分析美联储降息预期、美元指数波动及关键经济数据对黄金、白银价格走势的量化影响机制。
深度学习理论推导--多元线性回归
weixin_43719312的博客
12-02 517
本文介绍了多元线性回归的矩阵表示与求解方法。首先通过矩阵运算展示了如何从一元线性回归扩展到多元情形，推导出预测值的矩阵表达式。然后定义了残差平方和(RSS)的矩阵形式。最后详细阐述了利用链式法则对参数求导的过程，说明如何通过最小化残差平方和来求解最优参数。全文以矩阵运算为核心，展示了多元线性回归的简洁数学表达和求解思路。
深度学习理论推导--梯度下降法
weixin_43719312的博客
12-02 650
本文通过小猪体重增长的例子，生动解释了梯度下降法的原理。首先回顾线性回归的求解方法（最小二乘法和正规方程），指出非线性问题的局限性。然后以二元函数z=1+x+2y为例，通过微分推导证明：在微观尺度下，当增量方向与梯度方向一致时，函数增长最快。文中详细分析了不同方向上的增量变化，并用向量运算说明梯度方向的重要性。最后指出梯度向量∇z=[1,2]^T即为函数增长最快的方向，为后续讲解梯度下降法奠定了基础。
【光伏功率预测】EMD 分解 + PCA 降维 + LSTM 的联合建模与 Matlab 实现
专注AI大模型,软件混淆,授权
12-01 1160
本文提出一种基于EMD-PCA-LSTM的光伏功率预测方法，通过多尺度分解与深度学习结合解决光伏功率的非线性、非平稳性问题。首先利用EMD将功率序列分解为不同时间尺度的IMF分量，再结合辐照度、温度等外部特征构建特征矩阵，通过PCA降维后输入LSTM网络进行预测。Matlab实现流程包括数据预处理、EMD分解、PCA降维、LSTM建模等步骤，并给出完整的代码框架。实验结果表明该方法能有效提高预测精度，RMSE、MAE等指标表现良好。该方法可扩展加入更多特征和深度学习结构，为光伏功率预测提供有效解决方案。
【动物识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
子午的博客
12-01 311
动物识别系统，基于TensorFlow搭建Resnet50卷积神经网络算法，通过对4种常见的动物图片数据集（猫、鸡、马、狗）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义在人工智能技术蓬勃发展的当下，动物识别作为计算机视觉领域的重要应用方向，有着广泛的实际需求，如动物保护监测、智能安防等场景均需精准高效的动物识别能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

daolongzhang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值