tensorflow改写为pytorch的方法总结

已于 2022-06-13 15:47:23 修改
阅读量1.7w 收藏 120
点赞数 17
文章标签： tensorflow pytorch 深度学习
于 2019-07-17 00:21:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lrt366/article/details/96211913
版权
本文总结了将TensorFlow代码转换为PyTorch的常见方法，包括变量初始化、损失函数计算、矩阵运算、维度操作等关键步骤，帮助深度学习开发者在两个框架间迁移。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

替换方法：


1.
matrix = tf.get_variable("Matrix", [output_size, input_size], dtype=input_.dtype)
=
 matrix = Variable(torch.randn(output_size, input_size))

2.
self.D_l2_loss = tf.constant(0.0)
=
  self.D_l2_loss = torch.Tensor(0.0)

3.
 losses = tf.nn.softmax_cross_entropy_with_logits(logits=D_scores, labels=self.D_input_y)
=
losses = torch.nn.CrossEntropyLoss(D_scores, D_input_y)

4.
 tf.reduce_mean(losses)
=
torch.mean(losses)

5.
embedded_chars = tf.nn.embedding_lookup(W_fe, Feature_input + 1)
=
   embedded_chars = torch.index_select(W_fe, 0, Feature_input + 1)


6.
embedded_chars_expanded = tf.expand_dims(embedded_chars, -1)
=
embedded_chars_expanded = torch.unsqueeze(emb

最低0.47元/天 解锁文章
将tensorflow模型转换为pytorch模型
AlphaFinance
07-29 2577
关于如何将tensorflow模型转换为pytorch模型，https://www.cnblogs.com/cxq1126/p/14277134.html这个帖子讲的方法可以参考，不过会报错：AttributeError: ‘BertForPreTraining’ object has no attribute ‘shape’ 解决方法可以参考：https://stackoverflow.com/questions/30077534/importerror-cannot-import-name-unwrap
简单介绍一下tensorflow与pytorch的相互转换（主要是tensorflow转pytorch）
Wendy的博客
06-27 1万+
本文以一段代码为例，简单介绍一下tensorflow与pytorch的相互转换（主要是tensorflow转pytorch），可能介绍的没有那么详细，仅供参考。由于本人只熟悉pytorch，而对tensorflow一知半解，而代码经常遇到tensorflow，而我希望使用pytorch，因此简单介绍一下tensorflow转pytorch，可能存在诸多错误，希望轻喷~.........
tensorflow框架转pytorch框架
weixin_45994963的博客
02-03 4031
tensorflow框架转pytorch框架
PyTorch与TensorFlow：深度学习框架终极对决，谁将称霸AI界？
最新发布
2401_85390073的博客
03-13 1569
深度学习框架是一种软件工具集，能够节省时间和精力，使开发人员能够更加高效地构建强大的应用程序。本文从计算图、数据并行性、模型部署、生态系统等层面，比较了两种主流的深度学习框架TensorFlow和PyTorch的差异，并对如何选型提出了建议。随着大模型越来越成熟、稳定，业内人士预估2024年将会进入大模型应用元年。twt社区推出**【大模型行业应用入门系列】**文章，为相关人员提供必要的基础知识储备，后续还将推出实践系列，下期预告：一文读懂 LLM Datesets （大型语言模型数据集）
【深度学习】Tensorflow转Pytorch(BERT配置文件)
nghhfgh的博客
03-26 681
写在...终于从实习公司离职回来自己搞毕设的研二下，这段时间觉得很自由，但是又很怀念在上海的日子，那段让人难熬但又让人怀念的日子。
tensorflow的mnist改写成pytorch
07-01 478
最近公司使用算法要用pytorch，所以本人暂时放弃使用tensorflow，为了练手pytorch，本人首先使用pytorch将tensorflow版本的mnist转换成pytorch版本，tensorflow原版本如下所示： from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_d...
深度学习顶会论文 复现 tensorflow代码转pytorch 吐血入门经验
ncf的博客
12-17 2万+
1. 前言 我想把一个TensorFlow代码转为pytorch代码，深度学习的代码。经过一个月的调试。。。。。自己好垃圾啊。。。 2.目标 将这个阴影去除的tensorflow代码转pytorch。 3.过程 阅读需要复现的原文 很快啊，就一天可能就把TensorFlow的网络结构照猫画虎的写成了pytorch 然后就进入了无限调bug阶段。。。持续两周左右 最后想要放弃的时候，打算搭建TensorFlow的环境跑作者提供的代码，这时灵光一现，发现了自己哪里写错了。。。 4.建议的过程 网络结构或许很
tensorflow框架转换成pytorch框架
weixin_46216810的博客
03-14 2305
框架
TensorFlow代码重构为 Pytorch 代码中要注意的地方
m0_50140502的博客
12-01 1332
注：下面的 TensorFlow 简称为 tf，Pytorch 简称为 torch 1、tf 的 Variable 可替代为 torch 的 Variable （from torch.autograd import Variable），其中前者的参数 trainable=False，可替代为后者的 requires_grad=False 2、torch 的 Tensor 方法传入的值不能是数值，而是应该将数值转换为 [val] 这样的列表 3、tf 跟 torch 的部分函数，例如 tf 的 optimiz
把PyTorch代码转换为TensorFlow代码
有一只海豚
07-11 1890
以上是一些基本的建议和示例，将PyTorch代码转换为TensorFlow代码是一项复杂的任务，难度取决于代码的复杂度和使用的库。如果你遇到了困难，可以考虑阅读TensorFlow的官方文档，或者寻求更专业的帮助。把PyTorch代码转换为TensorFlow代码可以有多种不同的方法，具体的步骤和难度取决于代码的复杂度和使用的库。下面我提供一些通用的建议和示例，希望能够帮助你转换你的代码。
如何在tensorflow中使用pytorch的ModuleList、ModuleDict功能
h8215066的博客
03-24 514
在使用pytorch时构建网络时，我们经常会使用到nn.ModuleList和nn.ModuleDict来帮助我们保存要参与构建的神经网络层，这两类被称之为Module 容器（containers），在tensorflow中我们依然也可以用这种工具。
将Tensorflow模型转化为Pytorch模型的方法总结
热门推荐
Magical007的博客
04-28 2万+
最近做的一个事情需要将已经训练好的TF模型迁移到Pytorch上使用，于是在此记录一下。 一、方法一： 该方法比较“原始”，大致的做法是：1.读取TF模型-->2.获取参数名和值构成的字典-->3.构建Pytorch模型-->5.使用已经获取的字典对Pytorch模型参数进行更新-->6.保存为.pth文件 具体的实现上参考：https://www.cnblogs.c...
【ALBERT】TensorFlow 模型转 PyTorch 模型
尊新必威的博客
10-29 2305
由于目前 PyTorch 使用者非常多，BERT 源码又是 Google 用 TensorFlow 写的，谷歌开源的 BERT 预训练模型都是 TensorFlow 生成的 ckpt 模型文件， PyTorch 使用者需要将ckpt 文件转换为 PyTorch 的 bin 模型文件。 本文以 albert 模型为例，将 albert 的TensorFlow模型转PyTorch模型。 """ @Author : ChenXin @Data : 2021/10/23 1:26 @Brief : T
TensorFlow转Pytorch网络
qq_55542491的博客
05-25 1778
我在github搜了一个mnist分类代码，基于TensorFlow框架的，效果挺不错，但是我只想用pytorch，所以打算转成pytorch代码。
tensorfow模型转pytorch
wu_x_j_的博客
12-31 1324
参考链接：https://blog.youkuaiyun.com/weixin_42699651/article/details/88932670 一. tensorflow模型转pytorch模型 import tensorflow as tf import deepdish as dd import argparse import os import numpy as np def tr(v): ...
Easter2.0:tensorflow源码转pytorch
SHY0978的博客
04-07 841
Easter2.0
tensorflow转pytorch笔记；tf.gather_nd(x,y)转pytorch
strawberry47的博客
06-02 478
记录了将tensorflow转pytorch时，一些常用的函数转换：
【小论文代码】TensorFlow与pytorch的转换工作
isLauraL的记录簿
03-20 1268
因为baseline是很新的文章，目前paper with code只有作者一份代码，还是TensorFlow版本的，本来打算就这么用下去，可以无奈修改模型的过程实在太痛苦，我想用的很多新的模型TensorFlow版的代码都有一些问题，无奈硬着头皮把TensorFlow改为pytorch吧。输入的值，返回的值都与TensorFlow的dynamic_partition函数相同。
(2020)Tensorflow代码重构成Pytorch代码
Troublemaker丶的博客
05-19 1万+
前言???? 最近应导师要求，需要把现有的tensorflow实现的代码改成pytorch版本的，具体代码不在此处说明（是涉及深度学习这块，需要搭建网络） 改完觉得真的是个体力活，数据预处理直接可以用，主要是任务这块的代码，照着tensorflow一行行改下来的。 大致步骤： 先明确tensorflow的网络结构，如何查看参考下方链接，在pytroch上搭建相同的网络结构，注意：网络搭建顺序也要一样。 查看网络结构 改写主要代码，tensoflow函数和pytorch函数之间的转换(经过实践
tensorflow改写pytorch
06-28
### 回答1： TensorFlow和PyTorch都是深度学习框架，它们都有自己的优点和缺点。如果要将PyTorch代码转换为TensorFlow代码，需要了解两个框架的不同之处，并进行相应的修改。以下是一些可能需要修改的方面： 1. 张量操作：TensorFlow和PyTorch的张量操作略有不同。例如，PyTorch使用`torch.cat()`函数来连接张量，而TensorFlow使用`tf.concat()`函数。因此，在将PyTorch代码转换为TensorFlow代码时，需要相应地修改这些操作。 2. 自动微分：PyTorch的自动微分机制比TensorFlow更加灵活和易于使用。在TensorFlow中，需要使用`tf.GradientTape()`来记录梯度信息。因此，在将PyTorch代码转换为TensorFlow代码时，需要相应地修改这些操作。 3. 模型定义：PyTorch和TensorFlow的模型定义方式略有不同。在PyTorch中，可以使用Python类来定义模型，而在TensorFlow中，需要使用`tf.keras.Model`类。因此，在将PyTorch代码转换为TensorFlow代码时，需要相应地修改这些操作。 总之，将PyTorch代码转换为TensorFlow代码需要了解两个框架的不同之处，并进行相应的修改。 ### 回答2： TensorFlow和PyTorch是现今最流行和使用广泛的深度学习框架之一。它们在功能上有很大的重叠，但是它们的工作方式和编程接口都有所不同。因此，当你需要在两个框架之间切换时，你可能会遇到一些困难。如果你了解TensorFlow和PyTorch之间的不同之处，你可以更容易地将一个框架中的模型转移到另一个框架中。下面将介绍如何将一个PyTorch模型转化为TensorFlow模型。 1. 构建PyTorch模型 首先需要在PyTorch中构建好自己的深度学习模型，确保模型训练有良好的效果。这里以构建一个简单的MNIST手写数字识别模型为例： ``` import torch import torch.nn as nn import torch.optim as optim class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(1, 6, 5) self.pool = nn.MaxPool2d(2, 2) self.conv2 = nn.Conv2d(6, 16, 5) self.fc1 = nn.Linear(16 * 4 * 4, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = self.pool(F.relu(self.conv1(x))) x = self.pool(F.relu(self.conv2(x))) x = x.view(-1, 16 * 4 * 4) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") net = Net() criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9) ``` 这个模型是一个简单的卷积神经网络，它包含两个卷积层和三个全连接层。模型将输入的图片转化为张量，经过卷积和激活函数处理之后再做池化，最终通过全连接层输出一个10维的向量，表示每个数字的概率。 2. 导出PyTorch模型权重 通过调用`torch.save()`函数，我们就可以将PyTorch模型中的权重保存到磁盘中： ``` PATH = './mnist_net.pth' torch.save(net.state_dict(), PATH) ``` 这里我们保存了所有的权重参数。 3. 加载PyTorch模型权重 在TensorFlow中，我们需要定义我们的模型并加载在PyTorch中训练好的模型权重。下面是一个简单的用TensorFlow ReLU激活函数实现的与上面相同的神经网络： ``` import tensorflow as tf model = tf.keras.models.Sequential([ tf.keras.layers.Conv2D(6, 5, activation='relu', input_shape=(28, 28, 1)), tf.keras.layers.MaxPooling2D(), tf.keras.layers.Conv2D(16, 5, activation='relu'), tf.keras.layers.MaxPooling2D(), tf.keras.layers.Flatten(), tf.keras.layers.Dense(120, activation='relu'), tf.keras.layers.Dense(84, activation='relu'), tf.keras.layers.Dense(10, activation='softmax') ]) model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False), metrics=['accuracy']) model.summary() # Load the saved model parameters saved_model_weights = torch.load(PATH) ``` 可以看到，这个模型与前面的PyTorch模型是一模一样的。不过它使用的是TensorFlow中的函数来构建神经网络。在上面的代码中，我们使用了`Sequential()`函数和各种层来定义我们的神经网络。 在上面的代码中，我们使用了`Sequential()`函数和各种层来定义我们的神经网络。由于我们的输入图片的大小是28×28像素，因此我们需要将输入的图片形状设置为(28,28,1)。`tf.keras.layers.Flatten()`将我们的张量展平，以便后续的全连接层进行处理。最后，我们的输出层是一个10个神经元的`softmax`层。 4. 将PyTorch权重加载到TensorFlow模型中 现在我们需要将我们从PyTorch中保存的权重加载到TensorFlow模型中。由于PyTorch和TensorFlow之间的API不同，因此我们必须逐层地将权重加载到模型中。下面是我们加载权重的代码： ``` for name, layer in model_2.layers[:-1]: if 'conv' in name: print(f'Loading layer {name} ...\n') weight, bias = saved_model_weights[name+'.weight'].numpy(), saved_model_weights[name+'.bias'].numpy() layer.set_weights((weight.transpose((2,3,1,0)), bias)) elif 'dense' in name: print(f'Loading layer {name} ...\n') weight, bias = saved_model_weights[name+'.weight'].numpy(), saved_model_weights[name+'.bias'].numpy() layer.set_weights((weight.T,bias)) ``` 在上面的代码中，我们逐层遍历模型，并将对应的权重加载到TensorFlow模型中。由于PyTorch中存储卷积核和偏置项的张量通常维度的顺序与TensorFlow不同，需要注意转换顺序，并重新排列张量的维度。这里用到的主要工具是`numpy`的函数。由于我们的PyTorch模型中没有使用`ReLU()`，因此我们需要将每个激活函数都添加到TensorFlow模型中，以便使它们输出相同。 5. 验证TensorFlow模型 最后，我们可以使用我们已经转换过的TensorFlow模型，在MNIST数据集上测试其准确率： ``` history = model.fit(x_train, y_train, epochs=10, validation_data=(x_test, y_test)) ``` 通过测试，我们可以看到，TensorFlow模型和PyTorch模型的训练和预测效果在实践中都很相似。这表明我们成功地将PyTorch模型转化为TensorFlow模型，而且在学习到的特征方面，两个模型是一样的。 综上所述，这里重点介绍了如何将一个PyTorch模型转化为TensorFlow模型，步骤大致为：构建PyTorch模型；导出PyTorch模型权重；加载PyTorch模型权重；将PyTorch权重加载到TensorFlow模型中；验证TensorFlow模型。这个方法将有助于开发人员在各个框架之间转换模型时更加便利。 ### 回答3： TensorFlow和PyTorch都是现今深度学习领域广泛使用的神经网络框架，两者的设计和实现都有自己的特点，有些功能在TensorFlow中易于实现，而在PyTorch中可能稍显不便，因此一些研究机构和工业界负责人选择在深度学习项目中使用TensorFlow以及PyTorch，而有时候需要将一种框架的代码移植到另一种框架中，这时候，需要将TensorFlow改写成PyTorch，具体方法和注意事项如下： 首先，需要了解TensorFlow和PyTorch的组织结构和运行机制，分析两种框架的异同点，从而确定改写的方向和工作重点。需要注意的是，在改写过程中，应当时刻关注代码整体结构和功能是否能够还原，不应该对代码整体结构和功能产生影响。 其次，在代码改写过程中，需要重写TensorFlow的特定函数或工具，以满足PyTorch的基本特点和功能需求。例如，在TensorFlow中，模型通常以图形方式表示，而在PyTorch中，相应的表示方法是动态计算图形式。此外，TensorFlow中实现的机器学习算法和模型也需要修改，以满足PyTorch的特点，如PyTorch中使编写自定义层和损失函数变得更加容易。 最后，需要对修改后的PyTorch代码进行验证和优化。验证必须包括功能测试和性能评估。测试需要考虑不同类型的输入和输出，并关注结果的准确性。性能评估需要考虑方便性和速度性，以在运行速度和代码维护成本之间取得平衡。 在将TensorFlow改写成PyTorch时，还需要一些注意事项： 由于两种框架都使用GPU进行加速计算，因此在修改代码时需要保证代码在GPU上能够正常运行。 在改写过程中，应注意模型训练和推理过程的细节处理。关闭自动求导模式与梯度优化策略可能会产生不同结果。 需要考虑代码复杂性和实际用途，以便更好地为PyTorch适配TensorFlow代码。 最后，将TensorFlow改写为PyTorch的过程不仅涉及到技术上的操作，还与实践经验和理论知识有关。因此，对于不同的深度学习开发者，具体情况具体分析，以减少错误的出现，提高模型效率以及代码的可读性和可复用性。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

catbird233

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值