TensorFlow奇技淫巧之快速读模型的部分参数

最新推荐文章于 2022-04-18 21:53:44 发布
最新推荐文章于 2022-04-18 21:53:44 发布
阅读量513 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 代码废的Python日志
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Lyrassongs/article/details/86773842
这篇博客记录了一位新手在分析TensorFlow中Transformer模型时，如何快速定位并研究Layer Normalization部分的参数，避开其他大量复杂参数的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

菜鸡笔记，不喜莫喷
现在有一个完整的Transformer模型，但是我只想分析它Layer Normalization的参数;其他10810^8108左右的参数我不想看，看到就头大。已知这部分参数的名字大概有如下的pattern
layer_prepostprocess/layer_norm/layer_norm_scale
和
layer_prepostprocess/layer_norm/layer_norm_bias

import
最低0.47元/天 解锁文章

200万优质内容无限畅学
Windows奇技淫巧之网络命令行
沉迷单车的追风少年
05-24 2101
写在前面：Linux老鸟会深度沉迷命令行，各种奇技淫巧心中涨，但是windows上的命令行相当好用，各种骚操作也是眼花缭乱。其中网络操作经常使用，本文做一个简单的总结。 目录 1、ipconfig：显示当前TCP/IP配置的设置值 2、ping：测试目的站是否可达及相关状态 3、arp：地址解析协议 4、traceroute：路由跟踪 5、route：操作路由表 6、netstat：显示协议统计信息 7、nbtstat：显示协议统计和当前使用NBI的TCP/IP连接
vue有哪些奇技淫巧
最新发布
日常笔记/总结/系列知识梳理
01-25 443
Vue.js 是一个流行的前端框架，提供了许多有用的特性和技巧。
Tensorflow模型仅加载部分参数
weixin_44745717的博客
09-30 1362
在create saver之前加入下面的代码 t_variables = tf.trainable_variables() print("t_variables", t_variables) # var_to_restore = [v for v in t_variables if not v.name.startswith('InceptionResnetV1/Bottleneck')] var...
tensorflow读取数据部分
junjie20082008的博客
05-19 402
以往在传统模型训练，在处理比较小的数据的时候，我们的都是一次性加载进内存，然后再分batch灌给模型，但是数据量特别大的时候，这种方法就不太现实了，tensorflow针对大数据量输入模型部分，提供了几种方法： 1、To process lines from files, usetf.data.TextLineDataset: dataset = tf.data.TextLineDataset(["file1.txt", "file2.txt"]) 2、To process records ..
tensorflow 加载部分变量
u011961856的专栏
08-07 1万+
tensorflow模型保存为saver = tf.train.Saver()函数,saver.save()保存模型,代码如下: import tensorflow as tf v1= tf.Variable(tf.random_normal([784, 200], stddev=0.35), name="v1") v2= tf.Variable(tf.zeros([200]), name="
关于tensorflow中layernormalization
qq_34418352的博客
04-22 1万+
众所周知循环神经网络不是十分适合LayerNormalization 关于LayerNormalization:https://blog.youkuaiyun.com/liuxiao214/article/details/81037416 LN中同层神经元输入拥有相同的均值和方差，不同的输入样本有不同的均值和方差；即假设图片shape为(m, h, w, c) m为批量大小，h为高 w为宽 c为通道 应...
pytorch打印模型参数_Pytorch获取模型参数情况的方法
weixin_39725594的博客
12-07 4684
分享人工智能技术干货，专注深度学习与计算机视觉领域！相较于Tensorflow，Pytorch一开始就是以动态图构建神经网络图的，其获取模型参数的方法也比较容易，既可以根据其内建接口自己写代码获取模型参数情况，也可以借助第三方库来获取模型参数情况，下面，就让我们一起来了解Pytorch获取模型参数情况的这两种方法！Pytorch依据其内建接口自己写代码获取模型参数情况，我们主要是借助该框架提供的模...
07-TensorFlow 模型参数提取
鸣鼓ming的博客
04-18 1087
之前介绍了神经网络可以生成模型文件进行存储, 其实模型中的参数是可以查看的, 详情请看代码 import tensorflow as tf from tensorflow.keras.layers import Dense from tensorflow.keras import Model from sklearn import datasets import numpy as np x_train = datasets.load_iris().data y_train = datasets.load_
tensorflow利用saver读取部分参数变量值
Buevara的博客
10-21 498
做实验时到的问题： 'feature_embeddings:0' not found in checkpoint 当时的实验室分别训练modelA和modelB，再将B模型的参数载入到A中，具体如下图所示： modelA中包含modelB中所有参数，可以将modelA中参数载入ModelB，但是反过来则报错，具体载入语句为： # 存储 saver = tf.train.Saver(max_to_keep=5) saver.save(self.sess, self.save_path + 'model.
Tensorflow2.0中获取模型某一层的输出
qq_40128284的博客
11-23 5291
前言： 如题，我们在实验时，通常有这么一个需求：我们已经train好一个model,但是我们希望获取模型的其中的一层的输入，查看某些层提取到了哪些特征，或者对这一层的输出做做一些其他的处理。 #其中Wclass_model为已经训练完毕的模型，这里获取该模型倒数第二层的输出 sub_model = tf.keras.models.Model(inputs = Wclass_model.input,outputs = Wclass_model.layers[-2].output) result
tensorflow保存加载模型查看训练参数
James_Ying的专栏
04-18 1万+
TensorFlow的checkpoint机制使得其能够同时支持Online Learning和Continuous Learning，首先，通过tf.train.Saver()将训练好的或者训练过程中的模型保存成checkpoint:_, loss_value, step = sess.run([train_op, loss, global_step]) saver.save(sess,"./c
Tensorflow更新一层中的部分参数方法
chutongz的博客
07-09 3157
很多博客都分享了如何不更新某一层的参数，但是当遇到类似于embedding部分更新的情况，就必须局部更新某一层的参数。自己实践之后来分享一下。 tf.stop_gradients() 这个api是可以实现部分更新参数的，参考博客https://blog.youkuaiyun.com/hustchenze/article/details/84672430 但是只有在loss和你的target tensor直接发...
TensorFlow Saver:保存和读取模型参数.ckpt
Yancy的博客
10-11 9531
在使用TensorFlow的过程中，保存模型参数变量是很重要的一个环节，既可以保证训练过程信息不丢失，也可以帮助我们在需要快速恢复或使用一个模型的时候，利用之前保存好的参数之间导入，可以节省大量的训练时间。本文通过最简单的例程教大家如何保存和读取.ckpt文件。 一、保存到文件 首先是导入必要的东西： import tensorflow as tf import numpy as np ...
TensorFlow学习笔记（8）--网络模型的保存和读取
热门推荐
对角巷
03-16 5万+
之前的笔记里实现了softmax回归分类、简单的含有一个隐层的神经网络、卷积神经网络等等，但是这些代码在训练完成之后就直接退出了，并没有将训练得到的模型保存下来方便下次直接使用。为了让训练结果可以复用，需要将训练好的神经网络模型持久化，这就是这篇笔记里要写的东西。TensorFlow提供了一个非常简单的API，即tf.train.Saver类来保存和还原一个神经网络模型。下面代码给出了保存Tenso
Tensorflow中保存与恢复模型tf.train.Saver类讲解（恢复部分模型参数的方法）
mieleizhi0522的博客
06-01 1万+
       有兴趣的可以加qq群点击链接加入群聊【深度学习交流】：       前几天一直在修改模型，但是在修改的时候要加载原始预训练模型，我现在修改过的模型（现模型）有新加的参数，而有些预训练模型中的参数也没有用到，所以这样的情况下对于预训练模型来说，就相当于加载部分模型参数了，然后现模型中的剩余的参数就通过手动初始化完成，其实在加载模型的时候就相当于初始化参数。         也就是说...
tensorflow 恢复部分参数、加载指定参数
DRACOYU的博客
01-07 9648
多分类采用与训练模型输出不匹配，我们需要加载部分预训练模型的参数。 我们先看一下如何保存和读入预训练模型。 #一般实验情况下保存的时候，都是用的saver类来保存，如下 saver = tf.train.Saver() saver.save(sess,"model.ckpt") #加载时的代码 saver.restore(sess,"model.ckpt") #前面的描述相当于是保存了所...
python 读取tensorflow模型的参数，并重新写入.mat文件
caorui_nk的博客
06-27 4006
因为现有工作一部分在python，一部分在C++，需要将tensorflow已经训练好的模型应用到C++程序中，选择比较笨的折中办法，先将模型参数写入mat文件，然后再用C++读取mat文件。1.读取模型数据我训练的模型就是tf-MNIST，tensorflow的官方例子。关于tensorflow模型的保存和读取可看这篇文章。 with tf.Session() as sess: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值