- 博客(11)
- 收藏
- 关注
RSS订阅原创 如何用MindSpore自定义数据集
如何用MindSpore自定义数据集引言如何用MindSpore自定义数据集MindSpore数据集加载简介mindspore.dataset.GeneratorDataset自定义cifar10数据集分析格式加载数据构建cifar10数据集并且完成预处理自定义ImageNet引言 在深度学习模型的训练过程中，数据集是起着至关重要作用的。然而，由于任务的复杂性，深度学习模型的输入数据也有着各种各样的形式，深度学习模型搭建的过程中，如果遇到特别复杂的数据，研究
2021-11-15 10:24:44
2197
原创 如何用MindSpore实现自动数据增强
如何用MindSpore实现自动数据增强引言实现过程代码使用创建数据结尾引言 在深度学习训练的过程中，数据增强有着十分重要的作用。在目前模型设计的工作中，timm库被研究者们广泛使用，其重要的原因之一就是timm库提供了一套非常完备的深度学习工作流程（特别是在数据增强方面），这一套完备的流程可以让模型设计工作者们专注于模型本身的设计，而不用去关心其他复杂的模型训练流程。 在之前的博客利用MindSpore复现I
2021-11-12 11:21:07
1035
原创 如何使用MindSpore自定义优化器
如何使用MindSpore自定义优化器引言动机层归一化的缺陷自适应梯度裁剪如何用MindSpore自定义优化器并且实现AGC_SGDmindspore.nn.optim.Momentum引言 神经网络的参数众多，我们需要选择合适的算法来进行参数的更新和学习，也就是优化器。优化器在神经网络模型训练的过程中有着十分重要的作用。 从SGD开始，神经网络模型优化器就一直在迭代和发展之中。如PyTorch就已经开源了包括
2021-11-11 14:24:34
1199
原创 利用MindSpore复现ICCV2021 Best Paper Swin Trasnformer
经过长达一个月的复现，终于成功利用MindSpore复现了SwinTransformer在imagenet上的分类精度，中间踩过很多的坑，这个帖子就作为复现SwinTransformer的记录贴，希望能对大家复现2021年这种充满训练Trick的论文有所帮助。复现着复现着突然Swin就拿了最佳论文了，当时感觉也非常有意思，突然就在复现ICCV2021的最佳论文了，模型的效果的确很炸裂。博客所有的相关代码已经上传到我的码云修改完成后代码将会合入MindSpore的model的models主仓，有需要的.
2021-10-22 13:48:07
6431
1
原创 MindSpore如何实现自定义训练
如何用MindSpore实现实现自定义单步训练EMA是什么深度学习模型使用EMA更新介绍基于PyTorch的EMA权重更新方法MindSpore介绍如何用MindSpore实现自定义单步训练自定义训练梯度裁剪梯度聚合EMA权重模型更新合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表F
2021-10-17 14:04:08
1205
2
原创 论文阅读记录（一）——Transformer in Transformer
论文阅读记录（一）——Transformer in Transformer 这个项目是用来对大四的论文阅读做一下记录，希望可以在大四的这段时间尽快从推免的状态里面走出来，尽快的融入未来的科研工作，希望可以和大家一起进步。这里先介绍几个很好用的学习项目PyTorch examplePyTorch的官方模板平台，学习PyTorch进阶操作最好的样例如何读论文——论文精读李沐大神在B站分享的项目，持续跟进可以很好规范自己的科研习惯~TensorFlow2
2021-10-10 12:22:06
526
原创 关于矩阵求导、全连接神经网络模型和卷积神经网络模型反向传播的学习记录
关于矩阵求导、全连接神经网络模型和卷积神经网络模型反向传播的学习记录 内容是对神经全连接神经网络模型以及卷积神经网络模型求导以及反向传播手推公式的一些记录。引用非常感谢大佬们的讲解5字诀搞定BP反向传播算法推导卷积神经网络(CNN)反向传播算法推导全连接神经网络中反向传播算法数学推导用Python从底层实现一个多层感知机【手推机器学习】矩阵求导–合集
2021-04-18 18:07:31
269
原创 torch.nn.Unfold函数的一些踩坑
torch.nn.Unfold函数的一些踩坑Pytorch中view函数的使用torch.nn.Unfold使用功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 由于最近看到了Involution: Inverting the
2021-03-30 21:45:07
1084
原创 PyTorch训练加速技巧
PyTorch训练加速技巧 由于最近的程序对速度要求比较高，想要快速出结果，因此特地学习了一下混合精度运算和并行化操作，由于已经有很多的文章介绍相关的原理，因此本篇只讲述如何应用torch实现混合精度运算、数据并行和分布式运算，不具体介绍原理。混合精度 自动混合精度训练（auto Mixed Precision，AMP）可以大幅度降低训练的成本并提高训练的速度。在此之前，自动混合精度运算是使用NVIDIA开发的
2021-03-29 12:23:48
1926
4
原创 如何在服务器上完全离线配置CUDA环境
如何在服务器上离线配置CUDA环境查看显卡驱动以及适配的最高CUDA版本安装Anaconda Or Miniconda功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入查看显卡驱动以及适配的最高CUDA版本你好！ 这是你第一次使用
2020-10-22 14:51:20
1528
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人