西瓜书笔记01：logistic回归、决策树

logistic回归

@[回归|分类|极大似然|泰勒级数|牛顿法|Hessian矩阵|sigmoid函数]

线性模型可以用来回归学习，若要做分类就要找一个单调可微函数将分类标记y与线性回归预测值联系起来。

如何求w和b？

• 二分类任务中，sigmoid函数即可将预测值z转换为0/1值。其中，sigmoid function：$y=\frac{1}{1+e^{-z}}$。将线性模型代入，即为$y=\frac{1}{1+e^{-(w^{T}x+b)}}$。

• 先算$\frac{y}{1-y}$再得$ln(\frac{y}{1-y})=w^{T}x+b$。令y为后验概率估计p(y=1|x)，则ln(p(y=1|x)