关于logistic回归的一点总结

最新推荐文章于 2023-12-04 21:56:43 发布

原创最新推荐文章于 2023-12-04 21:56:43 发布 · 1.4k 阅读

CC 4.0 BY-SA版权

文章标签：

1 篇文章

订阅专栏

本文探讨了Logistic回归的本质，它作为对数几率的线性回归模型，虽然通过非线性的sigmoid函数实现，但假设函数保持线性。Logistic回归在实际中是对线性函数的非线性转换，从而适应分类问题。

是对数几率(logit)的线性回归， $logit=log(\frac {y}{1-y})$ ，并不是概率，但是表示一种和概率类似的相关性，比如logit越大，则y越接近于1.

本身是个非线性模型，因为y=g(z),g是非线性的sigmoid函数，但是假设函数hypothesis是关于x线性的，做的计算其实是 $log(\frac {y}{1-y}) = wx+b$ ，是一种线性拟合。
这里讲到的线性，是说模型关于系数 $\theta,x$ 一定是线性形式的

如果分类平面本身就是线性的，那么逻辑回归关于特征变量x，以及关于系数 $\theta$ 都是线性的
如果分类平面是非线性的，例如 $x_{1}^{2} +x_2=0$ ，那么逻辑斯蒂回归关于变量x是非线性的，但是关于参数 $\theta$ 仍然是线性的,无非是做了变形
那他如何实现非线性的决策边界的呢？
通过构造特征的非线性关系，特征的多项式。