机械学习（二）

目录

分类：

正则化：

神经网络：

拟合神经网络：

---

分类：

logistic（逻辑）回归函数：

logistic的代价函数：

通过以上代价函数我们可以将其变成这样：

和前面一样，通过梯度下降法将logistic回归方程求其算法：

正则化：

欠拟合问题：一般为一条直线，不能很好的划分正负样本，具有高偏差不能够很好的拟合数据。

过拟合问题：一般为高阶多项式，可以精准的将正负样本划分，具有高方差，不能够很好的泛化到新样本。

通过拟合问题我们可以将线性回归方程正则化，以下是其正则化的代价函数：

通过将一些特征数缩小到不过度拟合使函数更加泛化。

 正则化的算法有两种，一种是前面讲的梯度下降法：

还有一种是之前提过的正规方程：

逻辑回归方程的正则化：

神经网络：

这里我用一个简单的模型来模拟神经元的工作：

我们将一个神经元模拟成一个逻辑单元，这里x1x2x3就是相当于外界信息，然后通过树突或者说是输入通道传入神经元进行一些计算然后通过输出通道也就是轴突输出计算结果。

用专业术语来讲这是一个带有sigmoid或者logistic激活函数的人工神经元。

在专业术语中激活函数是指代非线性函数。为模型的参数，有些书中将这个称为模型的权重。

神经网络其实就是一组神经元：

神经网络的第一层称为输入层：输入特征。

最后一层称为输出层：表示最终的结果。

中间的一般都为隐藏层。

这里我还要讲解一下神经元的一些记号：

这里的ai（j）中的j表示第几层，这里的i表示第几个神经元或者单元的激活项（所谓的激活项就是由一个具体神经元计算并输出的值）

这里就是输出值的表示：

 这里是神经网路的一些简单案例：分别用神经网络表示了或与非

通过以上简单案例我们现在引入相对复杂点的神经网络案例：同或

拟合神经网络：

神经网络的代价函数：

反向传播算法：

首先我们先看看什么是向前传播：

接下来我们看看反向传播算法的表达：