ML8⃣️：logistic regre的代价函数+梯度下降

1. 逻辑函数的cost function

1. 回归，已知这个training set怎么找到最合适的w和b。

2. Squared error cost function在linear和logistic下的对比。在logistic regression下他不是convex的，有非常多的local minimum。

---

1.1 logistic loss function

1. 如果y = 1。
2. -log函数是左图蓝色线。因为y = 1 / 0，所以粉色框架内为有效区域。
3. 放大这个区域，当预测值f(x) --> 1， loss --> 0。f(x) --> 0, loss --> ∞。
4. 当预测值f(x)最接近真实值y，损失最小。

4. 如果y = 0。

5. 函数图像如图，放大来看可知。预测值f(x) --> 1， loss --> ∞。f(x) --> 0, loss --> 0。
   

6. logistic regression的新代价函数是可以convex的，有global minimum。

---

1.2 simplified cost function

1. 简化的loss公式：

2. 简化的cost公式：
   

---

2. 梯度下降gradient descent

• 会不会疑惑这个和linear regression的梯度下降很像。但因为f(x)是不一样的，所以cost function也会不一样。