机器学习笔记 - Logistic Regression

线性回归的模型为

$$z = w^Tx + b$$
考虑二分法任务， 其输出标记 $y \in \{ 0, 1 \}$, 于是需将实值 $z$转为$0/1$, 这里用了Sigmoid 函数
$$y = \frac{1}{1-e^{-z}}$$
则
$$y=\frac{1}{1-e^{-(w^Tx+b)}}$$
上式可以变化为
$$ln\frac{y}{1-y} = w^Tx+b$$
若将 $y$视为x是正例的可能性，
$$ln\frac{\{y=1|x\}}{\{y=0|x\}} = w^Tx+b$$
给定数据集 $\{(x_i, y_i)\}_{i=1}^m$, 回归模型最大对数似然(loglikelihood)为:
$$l(w,b) = \sum_{i=1}^mlnp(y_i | x_i;w,b)$$
令 $\beta = (w, b)$, $\hat x = (x;1)$, 则 $w^T+b = \beta ^T \hat x$,
再令
$$p_1(\hat x; \beta) = p(y=1 | \hat x; \beta)$$
$$p_0(\hat x; \beta) = p(y=0 | \hat x; \beta)$$
则
$$p(y_i|x_i, w, b) = y_ip_1(\hat x; \beta) + (1-y_i)p_0(\hat x; \beta)$$
然后可以梯度下降法,或者牛顿法求的棋最优解.
$$\beta ^* = argmin(l(\beta))$$

这里是一个简单的例子

Reference

1. 机器学习 - 周志华 清华大学出版社
2. Machine Learning in Action - Peter Harington