Logistic Regression(逻辑回归)基本原理与学习总结

逻辑回归原理

逻辑回归是一种广义线性模型，判别一个模型是否是线性的，可通过判别分界面是否是线性来判断的，逻辑回归的分界面是线性的。逻辑回归解决的是分类问题，由条件概率分布P(Y|X)表示，通过引入sigmoid函数，用于表示输出值的概率。

构造广义线性模型(Constructing GLMs)

要构建广义线性模型，我们要基于以下三个假设：

1. 给定特征属性和参数后，的条件概率服从指数分布族，即。
2. 预测的期望，即计算。 #h(x) = E[y|x]
3. 与之间是线性的，即。

 由于逻辑回归解决的是二分类问题，可以选择伯努利分布来构建逻辑回归的模型。

  exponential family（指数族）指出:如果一类分布（a class of distribution）属于exponential family，那么它能写成如下形式：

 伯努利分布可以写成：