机器学习西瓜书 学习笔记（三）— 线性模型（分类模型）

---

逻辑回归 / 对数几率回归（logistic / logit regression）- 线性概率模型

单变量 simple logistic regression or 多变量 multiple logistic regression
二分类类别预测、近似概率预测
【单位阶跃函数】- 【替代函数】-【Sigmoid函数】形似S的函数

【对数几率函数】
$$y=\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}\ln \frac{y}{1-y}={\mathbf{w}}^T\mathbf{x}+b$$ $y$：样本 $\mathbf{x}$ 作为正例的可能性 $1-y$：样本 $\mathbf{x}$ 作为反例的可能性
【几率比 (odds ratio)】$\mathbf{x}$ 作为正例的相对可能性 y 1 − y \qquad \frac y{1-y}