【机器学习基础】逻辑回归-P17

部分转自https://www.bilibili.com/video/BV1Wv411h7kN?p=17&vd_source=0f19c2ae28fd0b4f762a0aaaff793a64
基本损失函数

• 回归: 均方误差 MSE
• 分类: 交叉熵 + Softmax
  接下来就介绍为什么交叉熵要用softmax
  sigmoid函数可以把任意的z变成0到1里的一个数，也是一种激活函数
  
  最大似然估计MLE就是要最大化这个L，发现和最小化负的交叉熵是一样的（下图中的第二行要改成负的）
  
  为什么不像线性回归一样使用square error呢？它们更新w的方式是完全一样的
  
  下面证明logistic regression的w更新的方式（图一、二分别证明第二行式子的两项）
  
  
  
  得证！
  为什么不能用square error来处理logistic regression呢？预测值为0，真实值为1时梯度为0，这显然不是我们想要的（这可能是因为sigmoid在z比较大的时候变化就很小了）
  
  multi-class classification: softmax
  可以发现sigmoid其实就是只有两个class的softmax
  
  花书115页写了softmax最大化对数似然的直观好处：
  zi总是对代价函数有直接的贡献，第一项鼓励zi被推高，第二项鼓励所有z被压低，第二项可以近似为maxj zj，所以负对数似然代价函数总是强烈地惩罚最活跃的不正确预测，如果预测比较正确，结果近似为0

但逻辑回归有局限性，用feature transformation解决，而feature transformation可以用多个逻辑回归模型接起来实现