深度学习笔记

第一节课

1.机器学习模型，

就是为了使模型的输出结果与原结果的差距尽可能小。

下图的公式中，L就代表损失函数。最后一项是正则项，可以防止过拟合。因为过拟合的情况下，参数的个数会比较多，而如果加上这个惩罚项，就能使很多参数值为0，这样，输入向量的很多维都因为不重要，而不在上面加入权重，从而防止过拟合。还可以按照下面的公式来理解：控制了w的大小，这样就能保证模型输出结果与原结果的差距，保持在一个可控的较低水平。

正则项这里，可以用参数的一范数或二范数来计算（当然前边要加上系数λ），分别称为L1, L2。

2.对于线性回归模型

目标函数就可以写成下面的形式，正则项用的L2。最后一个式子给出了参数最优解的计算方法。代价函数一般就是下面所示的均方误差。

3.对于逻辑回归，

假设函数形式就是SIGMOD函数。代价函数一般采用下边的交叉熵函数ÿ