weixin_44219441的博客

实现这一惩罚最方便的方法是对所有项求平方后并将它们求和。下面的代码将模型拟合训练数据集，并在测试数据集上进行评估。从 3节以来，线性网络和平方损失没有变化， 所以我们通过d2l.linreg和d2l.squared_loss导入它们。唯一的变化是损失现在包括了惩罚项。# 增加了L2范数惩罚项，# 广播机制使l2_penalty(w)成为一个长度为batch_size的向量print('w的L2范数是：', torch.norm(w).item())

将模型在训练数据上拟合的比在潜在分布中更接近的现象称为过拟合（overfitting）， 用于对抗过拟合的技术称为正则化（regularization）。在前面的章节中，有些读者可能在用Fashion-MNIST数据集做实验时已经观察到了这种过拟合现象。在实验中调整模型架构或超参数时会发现： 如果有足够多的神经元、层数和训练迭代周期， 模型最终可以在训练集上达到完美的精度，此时测试集的准确性却下降了。

nn.ReLU(),

回想一下，实现softmax由三个步骤组成：1.对每个项求幂（使用exp）；2.对每一行求和（小批量中每个样本是一行），得到每个样本的规范化常数；3.将每一行除以其规范化常数，确保结果的和为1。

《动手学深度学习》第3章 线性回归

本系列主要记录自己学习深度学习的过程，欢迎大家讨论!