吴恩达-dl2017笔记——weeks2

week2-神经网络基础

2.1 逻辑回归

2.1.1 二分类

神经网络计算中有前向传播和反向传播。
二分类就是，将样本的特征向量作为输入，预测结果是1还是0.

2.1.2 逻辑回归

是一个二分类的分类算法。
输入x,经过线性回归z=wx+b
逻辑回归期望y值代表为1的概率值，以此可以根据阈值输出0,1.
利用sigmoid函数将线性函数转换为非线性函数。


逻辑回归期望通过训练，拟合一个决策分类面能将数据二分类。

2.1.3 逻辑回归的代价函数

在训练模型的时候，通常需要一个代价函数，通过训练代价函数来得到w,b，使得在w，b下得到的预测值能够和真实y接近。
一般的代价函数一般会使用预测和真实值的平方差或者平方差的一半，因为这个优化目标不是凸函数，只能找到局部最优解，梯度下降法很可能找不到全局最优，所以在逻辑回归中使用最大似然函数。


损失函数是在单个训练样本中定义的，衡量的是算法在单个训练样本中表现，为了衡量算法在全部训练样本上的表现如何，需要定一个一个算法的代价函数。算法的代价函数是对m个样本的损失函数求和，然后除以m

2.2 梯度下降