flownet2网络迁移笔记pytorch to mindspore（1）

最新推荐文章于 2025-03-31 12:44:06 发布
最新推荐文章于 2025-03-31 12:44:06 发布
阅读量1k 收藏 2
点赞数
文章标签： pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dark_tea/article/details/122919415
版权

flownet2网络是什么

flownet2网络是一个对光流进行深度学习的网络，flownet2实际上是在flownet的基础上对网络的结构和训练方法进行了优化。
flownet提出两种新的网络结构分别为flownetC和flownetS，其中flownetC以一对图片作为输入，先通过卷积提取一部分特征之后，然后通过correlation算子 比较两张图片中的特征。
flownet论文中分别对这两种网络结构进行训练，并且与baseline相比较，都有了较大的提升。
flownetc和flownets结构
flownet2在 flownet的基础上提出了三个新的优化方向：

  1. 网络训练时使用的数据集的顺序也会影响训练结果。使用flyingChairs作为初始训练集，训练Slong阶段，使用flyingthings3d作为Sfine阶段的训练数据集，并且在训练的过程中对学习率逐步减半，论文给出了以下最优训练步骤
    请添加图片描述

  2. 使用堆叠网络的方式来优化训练结果，即不仅仅用单个的flownetC 或 flownetS 来训练，而是将这些网络堆叠起来，一个网络的训练结果输出作为下一个网络的输入使用，那这个中间需要做什么处理呢？论文提出新的warp算子用于融合前一个网络输出flow和初始输入image2，并由初始输入image1减去对应的warp的结果，得到Brightness Error, 并将这些一起作为下一个网络的输入。
    flownet2网络结构

  3. 新创建了一个网络用于学习图片中的小位移 – flownetSD

网络迁移难点

网络迁移过程使用nvidia官方发布的flownet2-pytorch作为参考flownet2-pytorch
网络分数据处理，网络对应算子迁移，loss，优化器等。

nvidia发布的代码已经封装的很完整了，使用的优化器和loss函数也都是常用的，通过参考mindspore提供教程和算子api对应，进行替换即可。

网络中除了基础的网络结构之外，除了基础的网络结构，比较麻烦的是需要将pytorch实现的自定义算子在mindspore中实现，pytorch中的自定义算子可以通过pip 的方式进行安装，所以可以放在项目中的子文件夹中，灵活性更强。而mindspore中的自定义算子需要写在源码中，并且mindspore中的算子结构与tf中的算子结构更相似。但是不管怎样，基本上都是由python 前端定义和 c++和cuda 算子后端逻辑实现共同组成。
具体如何实现，将在下一篇中详细介绍。

[1]: FlowNet: Learning Optical Flow with Convolutional Networks
[2]: FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks

dark_tea
关注
pytorch转mindspore
m0_46634282的博客
11-17 1280
pytorch转mindspore一些记录
基于flownet2-pytorch在微表情数据集上进行光流预测
qq_42248452的博客
07-30 3982
Reference： 1. 光流估计——从传统方法到深度学习 2. Flownet2 NVIDIA pytorch最新安装教程 有效的避坑教程 3. 使用NVIDIA flownet2-pytorch实现生成光流 一、环境配置 默认背景：已安装好Anaconda3，cuda 10.0，cuDnn 7.6.0 安装Anaconda3：镜像下载地址 修改jupyter notebook默认工作路径： anaconda prompt 中jupyter notebook --generate-conf.
将模型参数从Pytorch迁移到Mindspore
EHOOYA的博客
12-13 1013
最近在做一些pytorch代码迁移到mindspore的项目，由于训练数据非常大不好重新训练，所以想把作者提供的预训练模型参数迁移一下看看效果，这篇文章相当于做个笔记。这里以deeplab的Resnet101为例：1. pytorch版本的权重文件（.pth文件)2. mindspore的模型代码 mindspore的模型代码需要根据pytorch版代码来自己迁移，有些比较常用的预训练模型代码可以在mindspore的modelzoo中找到。 读取双方的参数并把键值(key)保存为csv文
从PyTorch到MindSpore的模型迁移指南
最新发布
qq_52102217的博客
03-31 1403
随着AI芯片生态的发展，MindSpore作为华为推出的全场景AI框架，在昇腾芯片上展现出优异的性能。
MSAdapter，一款高效迁移PyTorch代码到MindSpore生态的适配工具
OpenI启智社区
04-11 1412
为匹配用户习惯，MSAdapter设计目的是在用户不感知的情况下，能适配PyTorch代码运行在昇腾（Ascend）设备上。MSAdapter以PyTorch的接口为标准，为用户提供一套和PyTorch一样（接口和功能完全一致）的中高阶模型构建接口和数据处理接口。它能帮助用户高效使用中国算力网——智算网络的昇腾算力，且在不改变原有PyTorch用户使用习惯下，将代码快速迁移到MindSpore生态上。MSAdapter已在OpenI启智社区开源，社区为大家提供了普惠NPU算力资源，欢迎大家使用。
笔记：FlowNet2
David糖的博客
06-26 1007
这里主要探讨不同的组合方式 + 不同的网络size设计
MSAdapter，一款高效迁移PyTorch代码到昇思MindSpore生态的适配工具
Kenji_Shinji的博客
04-13 799
下面以AlexNet模型为例，训练CIFAR10数据集的PyTorch代码转到MSAdapter代码，完整的代码可以从MSAdapterModelZoo获取（https://openi.pcl.ac.cn/OpenI/MSAdapterModelZoo/src/branch/master/official/cv/alexnet）为了帮助用户高效迁移PyTorch代码到昇思MindSpore生态，昇思MindSpore和鹏城实验室联合开发的一款昇思MindSpore生态适配工具——MSAdapter。
Python-FlowNet20的一个Pytorch实现
08-11
2. **FlowNet2.0结构**：FlowNet2.0是FlowNet系列的升级版，由多个子网络组成，包括基础网络、残差连接、上下文模块和融合层。基础网络通常采用预训练的卷积神经网络（如VGG16或ResNet），用于提取特征；残差连接...
FlowNetPytorch:Dosovitskiy等人的FlowNet的Pytorch实现
05-24
Dosovitskiy等人的FlowNet的Pytorch实现。 该存储库是等人的的火炬实现。 在PyTorch中。 查看Torch的实现 这段代码主要是受官方启发。 尚未针对多个GPU进行过测试，但是它应该与原始代码一样工作。 该代码使用...
Win11 FlowNet2.0＋Pytorch版本 VSCode
没报错的博客
07-07 867
from scipy.misc import imread, imresize替换成from imageio import imread。把from scipy.misc import imread替换成from imageio import imread。把argspec = inspect.getargspec(class_obj.__init__)替换为。
用自己的视频调用FlowNet2.0＋Pytorch版本（小白日记win10）
09-08
PyTorch是一个流行的深度学习框架，它提供了一种灵活且高效的环境来构建和训练神经网络模型。 在这个“用自己的视频调用FlowNet2.0＋Pytorch版本”的项目中，作者将指导如何在Windows 10环境下，利用PyTorch实现...
flownet2-pytorch:FlowNet 2.0的Pytorch实施
04-01
flownet2-pytorch FlowNet Pytorch实现。 支持多种GPU训练，并且代码提供了有关干净数据集和最终数据集的训练或推理示例。 相同的命令可用于训练或推断其他数据集。 有关更多详细信息，请参见下文。 还支持使用fp16（半精度）进行推理。 如需更多帮助，请键入 python main.py --help 网络架构 以下是提供的不同Flownet神经网络架构。 每个网络的batchnorm版本也可用。 FlowNet2S FlowNet2C FlowNet2CS FlowNet2CSS FlowNet2SD FlowNet2 自定义图层 FlowNet2或FlowNet2C*结构依赖于自定义层Resample2d或Correlation 。 这些层与CUDA内核的pytorch实现可在 。 注意：当前，半精度内核不适用于这些层。 数据加载器 dat
FlowNet2_CSS.part01.rar
06-15
光流计算方法FlowNet2-CSS的训练文件1，非常好用的，能获得较好的结果
flownet2-caffe-windows
07-25
flownet2-caffe 在windows 下的实现，修改部分，下载后替换caffe-windows官方版本的对应文件夹再编译即可使用，具体可以参考我的博客 https://blog.youkuaiyun.com/qq_25379821/article/details/81175158
将一个 PyTorch BERT 模型转换为 MindSpore 模型
m0_58969225的博客
12-27 1284
将一个 PyTorch BERT 模型转换为 MindSpore 模型
关于Pytorch转换为MindSpore的一点建议
knoka的博客
06-23 1481
整体来说，只要数据集构建没有问题，网络结构没有问题（需要计算测试）那么框架转换就很简单了，因为训练的流程都大致相同，虽然mindspore里面没有梯度清零什么的但是也有独特的自动微分梯度求导，这个多看几个案例，其实也是一套流程。
FlowNet2.0论文笔记
weixin_30252709的博客
07-29 461
原论文标题：FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks 文章是对FlowNet的进一步改进，主要贡献为如下三个方面： 训练数据集的调度对于模型的性能有较大的影响。 PS：光流的数据集都比较小，一般需要几个数据集一起train，故如何使用这些数据集是至关重要的。 ...
FlowNet 2.0
surprising
11-02 836
FlowNet（也就是它的第一个版本）链接如下：FlowNet 这篇是对上一篇FlowNet的改进，可以从标题看出（Evolution 演变，演化 ）发表于CVPR2017 Motivation: FlowNet cannot compete with variational methods,particularly on small displacements and real-world ...
Flownet2 NVIDIA pytorch最新安装教程 有效的避坑教程
晋图的非正常人类胡言乱语集合
02-23 9675
Github 英伟达的 Flownet2-pytorch 项目地址：https://github.com/NVIDIA/flownet2-pytorch 先来闲谈 第一次见识到英伟达的工程师是如此不负责，在Readme里面的安装版本引导简直就是一个大坑，你按照他描述的版本来进行安装保证编译出问题。 说实话这个项目的历史坎坷，之前这个项目的代码最初的版本是由 ClementPinard的FlowNe...
flownet中的correlation代码pytorch实现
04-01
以下是使用PyTorch实现的Flownet中的correlation代码： ```python import torch def correlation(x1, x2, kernel_size=1, stride=1, padding=0, dilation=1): # x1, x2: [batch_size, channel, height, width] # kernel_size: kernel size of cross-correlation # stride: stride of cross-correlation # padding: padding of cross-correlation # dilation: dilation of cross-correlation batch_size, channels, height, width = x1.size() # pad input tensors padding_size = kernel_size // 2 x1 = torch.nn.functional.pad(x1, (padding_size, padding_size, padding_size, padding_size)) x2 = torch.nn.functional.pad(x2, (padding_size, padding_size, padding_size, padding_size)) # create output tensor out_channels = channels * kernel_size * kernel_size out_height = (height + 2 * padding - kernel_size) // stride + 1 out_width = (width + 2 * padding - kernel_size) // stride + 1 output = torch.zeros(batch_size, out_channels, out_height, out_width).to(x1.device) # cross-correlate for i in range(kernel_size): for j in range(kernel_size): x1_shifted = x1[:, :, i:i+out_height*stride:stride, j:j+out_width*stride:stride].reshape(batch_size, channels, -1) x2_shifted = x2[:, :, i:i+out_height*stride:stride, j:j+out_width*stride:stride].reshape(batch_size, channels, -1) output[:, (i*kernel_size+j)*channels:(i*kernel_size+j+1)*channels, :, :] = torch.bmm(x1_shifted.permute(0,2,1), x2_shifted) return output.reshape(batch_size, out_channels, out_height, out_width) ``` 该函数接受两个输入张量x1和x2，以及卷积核大小kernel_size，步长stride，填充padding和膨胀dilation。它返回x1和x2之间的相互关系张量。 在该函数中，我们首先对输入张量进行填充以使其与卷积核大小对齐。然后，我们根据卷积核大小和步长计算输出张量的大小，并创建一个全零张量作为输出。最后，我们遍历卷积核的所有位置并计算x1和x2之间的相互关系，将结果存储在输出张量中。 我们可以使用该函数来实现Flownet中的correlation层。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值