- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pytorch学习笔记（三）
批量归一化和残差网络: 批量归一化能让较深的神经网络的训练变得更加容易。批量归一化的提出正是为了应对深度模型训练的挑战。在模型训练过程中，批量归一化利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 全连接层的批量归一化： 批量归一化层置于全连接层中的仿射变换和激活函数之间，设全连接层的输入为u,权重参数和偏差参数分别为W和b，激活函数为O，...
2020-02-24 19:22:56
248
转载 pytorch学习心得
验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为...
2020-02-14 21:47:32
378
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人