- 博客(44)
- 收藏
- 关注
RSS订阅原创 调试pytorch DDP训练代码
Pytorch提供了Distributed Data Parallel (DDP)工具以便在多机多卡上并行训练，并提供了torchrun指令来启动。然而，torchrun指令启动不便于debug。可以通过修改成等价mp.spawn启动方式先debug，完成后再转回torchrun指令启动正式训练。
2024-12-31 10:33:05
387
原创 【代码模板】Pytorch AMP 混合精度训练
当使用AMP混合精度训练时，可以提升训练速度，并降低对显存的占用。下面提供一个使用AMP训练的代码demo。
2024-10-14 21:14:55
372
原创 【代码模板】统计数据集的均值和标准差
在数据预处理时，通常会对样本进行标准化操作，使样本的均值为0，标准差为1，从而提高训练的稳定性。进行标准化操作时，需要预先统计数据集的均值和标准差。下面的demo展示了如何实现这个操作。
2024-10-06 10:33:13
277
原创 【代码模板】Python Decorator / 装饰器
在 python 里面，函数是一个对象，但是是 callable 的对象，因此后面可以接 () 传入参数。这也说明函数可以被当作参数传入其他的函数里面，同时函数也可以作为返回值。
2024-09-28 09:20:58
469
原创 【SOP】Windows下安装Neo4j流程
Neo4j 是一个基于图形结构的 NoSQL 数据库，专门用于存储和管理图数据。与传统的关系型数据库不同，Neo4j 使用 图（graph）的形式来表示数据，其中数据点（称为 节点）通过 边（relationships）相互连接。Neo4j使用Java语言开发。
2024-09-22 21:01:46
2199
2
原创 【代码模板】张量操作，文件读写
这里实现了一个功能 demo，输入array 是 (13, 17, 2) float32，代表某一帧的所有人体关键点识别结果，该帧有13个人，每个人识别17个关键点，每个点用 x，y 坐标表示。现在希望根据每个人关键点重心的 x 坐标值，按从小到大的规则，沿第一维对 array 重新排序。
2024-09-12 16:45:39
210
原创 【安装环境】配置MMTracking环境
numpy 的版本不能太高，否则后面安装时会发生冲突。先安装 numpy，因为 pytorch 的安装会自动配置高版本 numpy。mmtracking 支持的 torch 版本有限，需要找到合适的。
2024-09-12 09:11:57
520
原创 C盘太大怎么办
C:\Windows\Installer是一个很大的文件夹，可以移动到其他盘减少C盘负担。第一次寻找 C:\Windows\Installer 可能发现没有该可视化文件夹。如果要恢复该文件夹的位置，删除 symbolic link。
2024-09-11 19:19:49
1947
原创 理解 Progressive GAN
介绍模型 Progressive GAN，PGGAN， 论文《PROGRESSIVE GROWING OF GANS FOR IMPROVEDQUALITY, STABILITY, AND VARIATION》。
2023-01-20 17:28:45
1041
翻译 神经网络训练手册
最近看见一篇非常有实用价值的博客——由 Andrej Karpathy 编写的 A Recipe for Training Neural Networks，它总结了用神经网络开发项目的一般流程，常见的坑和相应解决方法。为了分享并加深自己的理解，在此转载并翻译博客内容，强烈推荐大家观看原文！
2022-10-29 21:40:51
359
原创 注意力机制：seq2seq with attention & transformer
本文作为注意力机制的入门，将分别介绍了 seq2seq with attention 和 transformer 模型。
2022-10-26 11:49:15
1052
原创 理解各种 Normalization
Batch Normalization（BN）似乎已经成为构建网络不可缺少的一部分，它是如此“熟悉”以至于我天天使用却不明白原理。对此，本文梳理了 BN 的意义，实现以及一系列变体：Layer Norm，Instance Norm 和 Group Norm，这些变体和 BN 的唯一区别是均值和方差的统计范围不同。
2022-10-24 10:19:06
688
原创 理解生成对抗网络 GAN：Generative Adversarial Nets
本文从数学角度分析了 GAN 的对抗损失究竟在学习什么，并解释了为什么 GAN 的训练不稳定
2022-10-17 16:05:17
675
原创 理解差分自动编码器 VAE：Variational AutoEncoder
理解差分自动编码器 VAE：Variational AutoEncoder
2022-10-17 11:04:38
2005
原创 git：文件存储方式
我们知道 git 跟踪文件会经历三个阶段：工作区，暂存区和本地仓库，在这些阶段文件如何被储存？理解 git 文件的存储方式能帮助我们掌握 git 的工作原理
2022-10-15 14:36:23
1735
原创 Pytorch多GPU训练：DataParallel和DistributedDataParallel
Pytorch多GPU训练：DataParallel和DistributedDataParallel
2022-10-13 18:13:14
3699
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人