artificiali的博客

过拟合指模型在训练集上表现优异，但在未见过的验证集或测试集上泛化能力差，本质是模型 “记住” 了训练数据的细节特征，而非学习通用模式。例如，复杂网络可能过度拟合训练数据中的噪声或特殊样本，导致在新数据上预测失效。dropout 是一种正则化技术，在训练过程中以指定概率（舍弃率p随机关闭神经元，迫使网络学习更鲁棒的特征。被关闭的神经元在当前迭代中不参与前向传播和反向更新，相当于训练多个 “子网络” 的集成，提升模型泛化能力。dropout 通过随机丢弃神经元打破网络的固定依赖模式，是缓解过拟合的有效手段。

全连接网络可以决定它看整张图像还是只看一个范围，如果它只想看一个范围，可以 把很多权重设成 0。全连接层（fully-connected layer，）可以自己决定看整张图像还是一个小范围。感受野加上参数共享就是卷积层 （convolutional layer），用到卷积层的网络就叫卷积神经网络。卷积神经网络的偏差比较大。但模型偏差大不一定是坏事，因为当模型偏差大，模型的灵活性较低时，比较不容易过拟合。接下来通过第 2 个版本的故事来说明卷积神经网络。

分析一下在训练集上面没有学好的原因：

本章重点，如何更好地优化神经网络：首先，要理解为什么优化会失败，收敛在局部极限值与 鞍点会导致优化失败。其次，可以对学习率进行调整，使用自适应学习率和学习率调度。最 后，批量归一化可以改变误差表面，这对优化也有帮助。

何为机器学习：让机器具备找一个函数的能力。比如：图像识别，找到一个复杂函数，输入x：图片，输出y：是什么。