bbbeoy的专栏

Tim Rocktäschelhttps://medium.com/ibm-data-ai/einsum-an-easy-intuitive-way-to-write-tensor-operation-9e12b8a80570Understanding einsum for Deep learning: implement a transformer with multi-head self-attention from scratch | AI Summer

scatter 理解

Pytorch自动混合精度(AMP)训练_ytusdc的博客-优快云博客_pytorch 混合精度训练

在看 pytorch 的 Spatial Transformer Network 教程 时，在 stn 层中的 affine_grid 与 grid_sample 函数上卡住了，不知道这两个函数该如何使用，经过一些实验终于搞清楚了其作用。参考：详细解读Spatial Transformer Networks (STN)，该文章与李宏毅的课程一样，推荐听李老师的 STN 这一课，讲的比较清楚；假设我们有这么一张图片：魁拔中的卡拉肖克·玲下面我们将通过分别通过手动编码和pytorc.

grid_sample底层是应用双线性插值，把输入的tensor转换为指定大小。那它和interpolate有啥区别呢？interpolate是规则采样（uniform)，但是grid_sample的转换方式，内部采点的方式并不是规则的，是一种更为灵活的方式。torch.nn.functional.grid_sample(input, grid, mode=‘bilinear’, padding_mode=‘zeros’)input : 输入tensor， shape为 [N, C, H_in

https://blog.youkuaiyun.com/LoseInVain/article/details/88139435

https://blog.youkuaiyun.com/zlgahu/article/details/104662203/

https://blog.youkuaiyun.com/zym19941119/article/details/102523719/量化介绍量化指的是使用比浮点精度更少的比特数来进行yi计算和存储的技术。一个量化后的模型使用整数tensor而不是浮点数tensor来执行一部分或全部的操作。这是一种更紧凑的模型表现方式，并且可以利用许多硬件平台上的高性能向量操作。PyTorch支持INT8的量化，相比于FP32，模型大小减少了4x，对内存带宽的需求也减少了4x。INT8操作的硬件支持使得其计算通常要比FP32.

PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，分别是有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealing。 自适应调整：自适应调整学习率 ReduceLROnPlateau。 自定义调整：自定义调整学习率 LambdaLR。等间隔调整学习率 StepLR等间隔调整学习率，调整倍数为 gamma 倍，调整间隔

https://zhuanlan.zhihu.com/p/65609544

https://blog.youkuaiyun.com/m0_38008956/article/details/86559432

model.train() ：启用 BatchNormalization 和 Dropoutmodel.eval() ：不启用 BatchNormalization 和 Dropout固化权重，防止在测试的时候改变sets the module in evaluation mode.This has any effect only on certain modules. See documentations of particular modules for details of their

【分布式训练】单机多卡的正确打开方式（一）：理论基础https://zhuanlan.zhihu.com/p/72939003【分布式训练】单机多卡的正确打开方式（二）：TensorFlowhttps://zhuanlan.zhihu.com/p/73580663【分布式训练】单机多卡的正确打开方式（三）：PyTorchhttps://zhuanlan.zhihu.com/p/74792767【分布式训练】单机多卡的正确打开方式（四）：Horovodhttps://zhuanla

曾经，为了处理一些序列相关的数据，我稍微了解了一点递归网络 (RNN) 的东西。由于当时只会 tensorflow，就从官网上找了一些 tensorflow 相关的 demo，中间陆陆续续折腾了两个多星期，才对 squence to sequence，sequence classification 这些常见的模型和代码有了一些肤浅的认识。虽然只是多了时间这个维度，但 RNN 相关的东西，不仅是模型...

https://blog.youkuaiyun.com/gyt15663668337/article/details/91345951