- 博客(3)
- 收藏
- 关注
RSS订阅原创 Pytorch损失函数解析
本文根据pytorch里面的源码解析各个损失函数，各个损失函数的python接口定义于包torch.nn.modules中的loss.py，在包modules的初始化__init__.py中关于损失函数的导入: 1.损失函数的base类 1.1 Loss的三个参数 从函数代码中可以看出，__init__函数有三个参数size_average, reduce, reduction，这三个参数的关系如下图所示；可以很明显看出，reduce参数控制返回的是Tensor还是scalar，size_avera
2021-03-28 23:35:09
511
原创 Pytorch激活函数解析
本文根据pytorch里面的源码解析各个激活函数，各个激活函数的python接口定义位于包torch.nn.modules中的activation.py，在包modules的初始化__init__.py中关于激活函数的导入： 1.非线性激活函数的必要性 1.1.加入非线性因素： 如下图所示，是神经元的数学模拟，如果在神经元之间，没有使用非线性激活函数或者使用恒等激活函数，那么神经网络仅仅是将输入线性组合再输出。在这种情况下，多层神经网络与仅仅只有一层隐藏层的神经网络没有任何区别。因此，要想多个隐藏
2021-03-28 19:33:10
983
3
原创 PyTorch技巧总结
1.在训练模型时指定GPU的编号 设置当前使用的GPU设备仅为0号设备，设备名称为**"/gpu:0"**，os.environ["CUDA_VISIBLE_DEVICES"]="0"; 设置当前使用的GPU设备为0，1两个设备，名称依次为**"/gpu:0","/gpu:1"**，os.environ["CUDA_VISIBLE_DEVICES"]="0,1";根据顺序优先表示使用0号设备，然后使用1号设备； 同样，也可以在训练脚本外面指定，CUDA_VISIBLE_DEVICES=0,1 python
2021-01-31 16:00:14
3341
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人