rongpeisheng666的博客

1、神经网络model先介绍个三层的神经网络，如下图所示输入层（input layer）有三个units（为补上的bias，通常设为1）表示第j层的第i个激励，也称为为单元unit为第j层到第j+1层映射的权重矩阵，就是每条边的权重 所以可以得到：隐含层：输出层 其中，S型函数，也称为激励函数可以看出 为3x4的矩阵，为1x4的矩阵 ==》j+1的单元数x（...

1、代价函数其中： 下面就是要求出theta，使代价最小，即代表我们拟合出来的方程距离真实值最近共有m条数据，其中代表我们要拟合出来的方程到真实值距离的平方，平方的原因是因为可能有负值，正负可能会抵消。前面有系数2的原因是下面求梯度是对每个变量求偏导，2可以消去。注意X是真实数据前加了一列1，因为有theta(0)。2、梯度下降算法代价函数对求偏导得到：所以对the...

1、代价函数 可以综合起来为：  其中：  为什么不用线性回归的代价函数表示，因为线性回归的代价函数可能是非凸的，对于分类问题，使用梯度下降很难得到最小值，上面的代价函数是凸函数 的图像如下，即y=1时：  可以看出，当趋于1，y=1,与预测值一致，此时付出的代价cost趋于0，若趋于0，y=1,此时的代价cost值非常大，我们最终的目的是最小化代价值同理的图像如下（y=0）：...