82、手写的模型如何模拟权值预加载

最新推荐文章于 2025-11-24 17:02:03 发布
最新推荐文章于 2025-11-24 17:02:03 发布
阅读量113 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： CV视觉算法入门与调优 文章标签： 算法 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dongtuoc/article/details/135920632
本文介绍如何在手写模型中实现权值预加载以提高推理性能。通过预申请内存模拟GPU显存，将模型权值加载到全局变量，避免推理时重复加载，提升了模型运行速度。详细步骤包括预申请内存并加载、取用权值进行推理以及解释优化关键区别。

上一节介绍了模型的权值预加载方法，以及为什么要做权值预加载。

对于我们自己手写的模型，如何来完成权值预加载呢？其实大概分为以下几步：

  1. 申请足够大的内存来存放模型的权值，这一步模拟的是 GPU 拥有足够的显存来存放模型权值

  2. 将模型的所有权值加载到预申请的足够大的内存中，并且保持在推理过程中，这些内存中的权值数据不变，模拟的是GPU中权值驻留在显存空间中的操作。

  3. 运行神经网络进行推理，运行到某一需要权值的层时，直接从已经申请的内存对应的位置中读取权值，然后进行推理计算。

具体到这个项目代码中，是通过以下方式来实现的。这一优化的代码目录在：cv_learning_from_scratch: 课程[CV视觉从算法到调优]代码 - Gitee.com

1、预申请足够的内存并加载

预申请的内存通过 3rd_preload/resnet_preload.cc 中定义的一个全局变量 __gl

了解本专栏 订阅专栏 解锁全文 超级会员免费看
从零开始大模型开发与微调：实战基于PyTorch 2.0的手写体识别模型
AI天才研究院
06-27 642
在当今数字化时代，图像识别已经成为许多领域不可或缺的一部分，例如自动驾驶、医疗影像分析、安全监控以及教育系统中的自动评分等。其中，手写体识别作为图像识别的一个重要分支，在文档处理、笔迹签名验证等领域具有广泛的应用前景。传统的手写体识别方法往往依赖于复杂的特征提取和手工设计的分类器，然而，随着深度学习技术的发展，特别是近年来大规模预训练模型的兴起，我们可以通过更高效、灵活的方式来解决这一问题。构建手写体识别模型时，首先需要定义网络架构，一般包含输入层、多个卷积层、池化层、全连接层以及输出层。
81、计算机基础：数据流加载以及为什么要做权值预加载
AI与算法都要通俗易懂
01-22 191
本节我们开启对手写的 resnet50 模型的第二个优化，对应到仓库中的优化代码为本次优化内容为模型的权值预加载。将模型的权值进行预加载，可以减少甚至消除模型推理过程中冗余的内存操作，降低推理延迟，大幅提高模型性能。所以，接下来的几节内容，会围绕这个优化来展开。在开始这个优化之前，先介绍一下计算机的基础知识，以及为什么要做这个优化。大家可能听说过冯诺依曼架构，事实上，现在很多的计算机（芯片）都是基于冯诺依曼架构来进行的设计。冯诺依曼架构的特点，总结下来可以这么理解：计算部件和存储部件的分离。
Tensorflow 加载预训练模型和保存模型
fenglepeng的博客
09-08 6324
使用tensorflow过程中，训练结束后我们需要用到模型文件。有时候，我们可能也需要用到别人训练好的模型，并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文，相信你一定会有收获！ 一、Tensorflow模型文件 我们在checkpoint_dir目录下保存的文件结构如下： |--checkpoint_dir | |--checkpoint | |--MyModel.meta | |--MyModel.data-00000-of-00001 | |--MyModel.inde
Tensorflow加载预训练模型和保存模型
Beryl的博客
01-02 509
转载自：https://blog.youkuaiyun.com/huachao1001/article/details/78501928 使用tensorflow过程中，训练结束后我们需要用到模型文件。有时候，我们可能也需要用到别人训练好的模型，并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文，相...
Tensorflow加载预训练模型和保存模型（ckpt文件）以及迁移学习finetuning
jacke121的专栏
08-13 8559
使用tensorflow过程中，训练结束后我们需要用到模型文件。有时候，我们可能也需要用到别人训练好的模型，并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文，相信你一定会有收获！ 1 Tensorflow模型文件 我们在checkpoint_dir目录下保存的文件结构如下： |--checkpoint_dir | |--checkpoint | |--MyModel.meta | |--MyModel.data-00000-of-0..
基于CNN的MINIST手写数字识别项目代码以及原理详解
热门推荐
IronmanJay
12-25 4万+
本篇博文从整个项目数据集的导入到模型的构建以及最终的模型训练与测试和自定义手写数字识别，均进行了极为细致的代码分析。不仅如此，本文还将整个项目用到的所有技术以及知识点和原理都进行了极为详细的解释，利用图片以及公式力争将原理讲述的通俗易懂。通过本文，不仅可以学会手写数字识别项目的搭建过程，还可以搞懂CNN在手写数字识别项目中的应用以及背后的原理。当然，由于本人水平问题，可能有些问题解释的并不是很清晰，如有问题，还请读者与我反馈。最近也在学习这方面的知识点，读者感兴趣也可和我多交流！下面就正式开始本篇博文的内容
Tensorflow加载预训练模型和保存模型（ckpt文件）
ojbko的博客
10-12 1927
转载自：https://blog.youkuaiyun.com/huachao1001/article/details/785019...
《深度学习》卷积神经网络CNN 实现手写数字识别
wx_AHao1004Y的博客
09-23 3065
卷积神经网络是一种深度学习模型，主要应用于图像和视频处理任务。它的设计灵感来源于生物视觉系统的工作原理。"""定义神经网络"""class CNN(nn.Module): # 继承nn算法中的Moduledef __init__(self): # 这里输入大小为(1,28,28)self.conv1 = nn.Sequential( # 第一层卷积， 将多个层组合成一起。nn.Conv2d( # 二维卷积成，2d一般用于图像，3d用于视频数据(多一个时间维度)，1d一般用于结构化的序列数据。
pytorch模型保存格式
zls
05-04 9807
pytorch保存数据 保存用到torch.save函数，注意该函数第一个参数可以是单个值也可以是字典，字典可以存更多你要保存的参数（不仅仅是权重数据） pytorch读取数据 pytorch读取数据使用的方法和我们平时使用预训练参数所用的方法是一样的，都是使用load_state_dict这个函数。 三个核心功能（保存和加载模型） 1.torch.save：将序列化的对象保存到disk。这个函数...
CNN LeNet5模型实战：手写数字识别与模型PPT教程
这可能是一个简单的脚本，用于加载预训练的CNN模型，输入测试数据，并输出模型对测试数据的识别结果。该文件是验证模型性能和进行演示的重要环节。 综上所述，文件中涉及的知识点包括了深度学习和计算机视觉的基础...
基于DL4J的卷积神经网络手写数字识别模型
第二，作为教育案例，该模型提供了清晰的代码结构与预训练权重，学生可通过可视化工具观察每一层特征图的变化，理解卷积、池化、全连接的作用机制，掌握反向传播与梯度下降的实际运作流程。第三，在工业应用中，尽管...
TensorFlow实现MNIST手写数字识别模型对比
该资源以TensorFlow为基础平台，意味着所有代码实现都将基于这一框架进行，包括数据加载、模型定义、训练流程、损失函数优化及准确率评估等环节，均采用TensorFlow的API完成，有助于学习者建立起完整的工程化思维。...
C++ 字符串 模拟 力扣 14. 最长公共前缀 每日一题 题解
Q741_147的博客
11-23 652
本文围绕LeetCode 14“最长公共前缀”这一字符串经典入门题展开，解析其作为面试高频题的核心价值——夯实模拟思维、边界处理与代码优化能力。文章详细阐述横向遍历（两两对比）与纵向遍历（逐位验证）两种核心算法原理，提供完整可运行的C++代码，拆解关键细节与易错点，并进行复杂度分析。同时总结解题核心考点、思路迁移方向及常见错误，帮助读者不仅掌握本题解法，更能提升字符串处理能力，为后续复杂题型奠定基础，兼具入门指导与面试备考价值。
代码随想录 63.不同路径Ⅱ
m0_63814538的博客
11-24 422
4.确定遍历顺序：从递归公式可以看出一定是从左到右一层一层的遍历，这样保证推导dp[i][j]的时候，dp[i - 1][j]和dp[i][j - 1]一定是有数值的。所以本题的初始化代码如下所示：一旦遇到obstacleGrid[i][0] == 1的情况就停止dp[i][0]的赋值1的操作，dp[0][j]同理。1.确定dp数组（dp table）及其下标的含义：dp[i][j]表示从（0，0）出发，到（i，j）有dp[i][j]条不同的路径。下标（0，j）的初始化情况同理。
算法：二叉搜索树的最近公共祖先
czlczl20020925的博客
11-24 457
下面是详细的解释，说明为什么这是必然的。对于我们当前所在的任何节点。
P1522 [USACO2.4] 牛的旅行 Cow Tours(连通块+Floyd）
2302_79372568的博客
11-22 64
思路：先用dfs标记一下每个点在哪个连通块，然后求出每个连通块内每个点的最大最短路，求任意两点之间的距离＋数据范围，我们可以知道这道题要使用Floyd进行求解，求到了任意两点之间的距离后，我们就可以求出每个点到所在连通块其他点的最短路中的最大值，然后再从同一连通块的所有点的最大值中选出最大值，就是连通块的直径了。题目大意：给你n个坐标点（x,y)，再给一个n*n的矩阵，代表两点之间的连边关系，连边之后会构成若干个连通块，定义连通块的直径为最远的两个点的距离（距离指的是两点间最短路径的长度）。
第二次测试题解
2402_89056915的博客
11-23 794
第 3 刀：要最大化分区，第 3 个平面必须与前 2 个平面都相交（得到 2 条不重合的交线，且这 2 条交线在第 3 个平面上相交）—— 相当于在第 3 个平面上，用 2 条相交直线分成了 4 块，因此新增 4 个区域 →。前 3k+2 项的和：3k 项和 + a₃ₖ₊₁ + a₃ₖ₊₂ ≡ 0 + p + q ≡ (p+q) mod 2（a₁+a₂ 的奇偶性）余数 r=2（n=3k+2）→ Sₙ ≡ 1+1=2≡0 → 0（偶）→ 代码逻辑：if n%3==1 → 1，else → 0。
GoC题解(22) GoC测试模拟题(2017.3.23)第6题：同心圆
2301_78151773的博客
11-22 235
小C要画红绿黄3个不同半径的同心圆，要求红色(1号）的是最大半径圆，绿色（3号）的是第2大半径的圆，黄色（5号）的是最小半径的圆。但输入是的的3个数可能并没有从大到小。这3个圆一定要按照正确的次序才能画出正确的图形。比如你最后画最大的圆形，就只能看见一个红色的大圆。请你帮小C编程解决这个问题。一行3个不同的正整数a,b,c：表示每圆的半径，范围在[10..100]。有同学容易犯下面这段代码类似的错误。
算法基础篇：（十六）深度优先搜索（DFS）之递归型枚举与回溯剪枝初识
最新发布
2301_79248256的博客
11-24 710
本文聚焦深度优先搜索（DFS）的递归型枚举与回溯剪枝，以枚举子集、组合型枚举、枚举排列、全排列四个洛谷经典例题为切入点，从问题描述、决策树分析、递归函数设计到代码实现逐步拆解。先阐释搜索本质及 DFS 与回溯、剪枝的关联，再通过具体案例讲解回溯的 “恢复现场” 操作与可行性、重复性等剪枝技巧，总结 DFS 递归型枚举 “画决策树 - 设计函数 - 实现回溯 - 添加剪枝” 的通用步骤，帮助读者理解并掌握 DFS 解决枚举类问题的核心方法，为进阶应用奠定基础。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值