李宏毅机器学习-----逻辑回归Logistic Regression

接上上一节的内容，我们认为通过概率模型最后推导出来函数还是为了求出最优的w和b，所以为什么不直接找一个function来直接求呢？那就是今天要介绍的Logistic Regretion！
[上节链接]链接

逻辑回归的Function Set

后验概率$P_{w,b}(C_1|x)$就是$\sigma (z)$，而z=wx+b，推导出function set就是$f_{w,b}(x)=P_{w,b}(C_1|x)$，受w和b所控制的function

如果我们图像化这个function，就是上图这个样子啦！~

逻辑回归与线性回归比较

逻辑回归就是做多了一步，把wx+b放进sigmoid函数中，要求输出在0至1之间。

Step2：定义损失函数

假设有一组training data，size是N，而且分别有自己的类别标签C，给定一组 w和b，就可以计算这组w，b下产生上图N个训练数据的概率，$f_{w,b}(x^3)$是$x^3$属于C1的机率，因为它是C2，所以要用$1-f_{w,b}(x^3)$，最好的w和b，就是让概率$L(w,b)$最大的时候，$w^{\ast },b^{\ast }=argma{x}_{w,b}L(w,b)$

将训练集数字化，Class1等于1，Class2等于0，并且将式中求max通过取负自然对数转化为求min，化成$-ln$的格式之后，相乘就等于相加

将 $-lnL($