机器学习杂货铺1号店

Embedding层也没那么简单喔

pytorch中的ReLU与inplace原地操作的一些注意点 FesianXu 20210210 @ Baidu intern前言pytorch中的原地操作有时候很容易造成一些错误使用的情况，造成非期望的结果而且不容易调试，本文进行一些小记录。 如有谬误请联系指出，本文遵守 CC 4.0 BY-SA 版权协议，转载请联系作者并注明出处，谢谢。∇\nabla∇ 联系方式：e-mail: FesianXu@gmail.comgithub: https://github.com/Fes.

在pytorch中的双线性采样（Bilinear Sample） FesianXu 2020/09/16 at UESTC前言双线性插值与双线性采样是在图像插值和采样过程中常用的操作，在pytorch中对应的函数是torch.nn.functional.grid_sample，本文对该操作的原理和代码例程进行笔记。如有谬误，请联系指正，转载请联系作者并注明出处，谢谢。∇\nabla∇ 联系方式：e-mail: FesianXu@gmail.comQQ: 973926198...

为了纪念在编程生涯中出现的傻傻的bug，特此做此笔记，以兹参考。torchvision中的ToPILImage()函数torchvision.transforms.TOPILImage()函数用于将tensor形式的图片转化为用PIL图片格式，以便于后续的处理，比如crop，resize等等。但是这个函数的输入的张量形状应该如同(Channels, Height, Width)的，千万不要把...

在pytorch中停止梯度流的若干办法，避免不必要模块的参数更新2020/4/11 FesianXu前言在现在的深度模型软件框架中，如TensorFlow和PyTorch等等，都是实现了自动求导机制的。在深度学习中，有时候我们需要对某些模块的梯度流进行精确地控制，包括是否允许某个模块的参数更新，更新地幅度多少，是否每个模块更新地幅度都是一样的。这些问题非常常见，但是在实践中却很容易出...

前言：本文主要介绍在pytorch中的Batch Normalization的使用以及在其中容易出现的各种小问题，本来此文应该归属于[1]中的，但是考虑到此文的篇幅可能会比较大，因此独立成篇，希望能够帮助到各位读者。如有谬误，请联系指出，如需转载，请注明出处，谢谢。∇\nabla∇ 联系方式：e-mail: FesianXu@163.comQQ: 973926198github: htt...

文章目录在指定优化器的优化变量时多GPU情况下Reference前言：本文主要记载在pytorch使用过程中遇到的一些报错以及解决方案等，在以前的文章[1]中，主要涉及的是比较容易出现的原理上的，或者难以发现的bug，而这里的主要是系统抛出的error或者warning的解决方法，其各有侧重，欢迎各位贡献idea。如有谬误，请联系指出，如需转载，请注明出处，谢谢。∇\nabla∇ 联系方式：...

联系方式：e-mail: FesianXu@163.comQQ: 973926198github: https://github.com/FesianXu如有谬误，请联系指正。转载请注明出处文章目录基模型参数加载从持久化模型开始加载模型吧部分加载模型模型Fine-Tune给每一层或者每个模型设置不同的学习率Pytorch内置的模型Reference我们在使用pytorch的时候，经常...

pytorch的交叉熵nn.CrossEntropyLoss在训练阶段，里面是内置了softmax操作的，因此只需要喂入原始的数据结果即可，不需要在之前再添加softmax层。这个和tensorflow的tf.softmax_cross_entropy_with_logits如出一辙.[1][2]Reference[1]. Why does CrossEntropyLoss include...

在pytorch中进行L2正则化，最直接的方式可以直接用优化器自带的weight_decay选项指定权值衰减率，相当于L2正则化中的λλ\lambda，也就是： Lreg=||y−y^||2+λ||W||2(1)(1)Lreg=||y−y^||2+λ||W||2\mathcal{L}_{reg} = ||y-\hat{y}||^2+\lambda||W||^2\tag{1} 中的λλ\l...

einsum全称为Einstein summation convention，是一种求和的范式，在很多基于多维张量的张量运算库，如numpy,tensorflow,pytorch中都有所应用。einsum可以用一种很简单的，统一的方式去表示很多多维张量的运算。让我们以numpy中的einsum为例子，理解这种运算表达方式。这里贴出numpy中的einsum的API：numpy.eins...