qq_26249811的博客

优化神经网络过程中，首先，要理解为什么优化会失败，收敛在局部极限值与鞍点会导致优化失败。其次，可以对学习率进行调整，使用自适应学习率和学习率调度。最后，批量归一化可以改变误差表面。目录深度学习基础1. 局部极小值与鞍点1.1 临界点及其种类1.2 判断临界值种类的方法 我们在做优化的时候经常会发现，随着参数不断更新，训练的损失不会再下降, 但是我们对这个损失仍然不满意。图 1 中的两条曲线对应两个神经网络训练的过程。当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了。

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、分类问题1.sigmoid函数介绍2.sigmoid函数在深度学习上的应用3.sigmoid函数的优缺点二、二分类逻辑回归代码1.引入库2.读入数据总结欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一

线性回归¶主要内容包括：线性回归的基本要素 线性回归模型从零开始的实现1.线性回归的基本要素：现在给定一个数据集，包含n个样本，x为属性表述的一个向量，维数为d，y为在向量x下的实际结果： 上式表示的是第i个样本的属性描述向量，x1到xd表示d个不同的属性。我们要利用这些属性综合...