李宏毅老师课程Classification: Logistic Regression

Three Steps of Machine Learning

Step 1: Function Set

这⾥的function set就是Logistic Regression——逻辑回归
w_i : weight , b ：bias，σ(z) ：sigmoid function， x_i ：input

Step 2：Goodness of a Function

现在我们有N笔Training data，每一笔data都要标注它是属于哪⼀个class
假设这些Training data是从我们定义的posterior Probability中产⽣的(后置概率，某种意义上就是概率密度函数)，而w和b就决定了这个posterior Probability，那我们就可以去计算某⼀组w和b去产⽣这N笔Training data的概率，利⽤极大似然估计的思想，最好的那组参数就是有最大可能性产生当前N笔Training data分布的w和b

经过一系列运算，我们要找的参数实际上就是：

Step 3：Find the Best Function

实际上就是去找到使loss function最小的那组参数w^*和b^*就行了，这里用gradient descent的方法进行运算就ok
这里sigmoid function的微分可以直接作为公式记下来：

sigmoid和它的微分的图像如下：

整体推导过程如下：