机器学习小组知识点39：广义线性模型（Generalized Linear Model）

声明：
本文内容主要转自http://tech.meituan.com/intro_to_logistic_regression.html
本人只是将其根据自己理解二次开发供学习交流，对原作者表示感谢，维护知识产权，人人有责！

逻辑回归（Logistic Regression）是机器学习中的一种分类模型，由于算法的简单和高效，在实际中应用非常广泛。本文作为美团机器学习InAction系列中的一篇，主要关注逻辑回归算法的数学模型和参数求解方法，最后也会简单讨论下逻辑回归和贝叶斯分类的关系，以及在多分类问题上的推广。

逻辑回归

$\textbf{问题}$
实际工作中，我们可能会遇到如下问题：

• 预测一个用户$\textbf{是否}$点击特定的商品
• 判断用户的性别
• 预测用户$\textbf{是否}$会购买给定的品类
• 判断一条评论是正面的还是负面的

这些都可以看做是分类问题，更准确地，都可以看做是二分类问题。同时，这些问题本身对美团也有很重要的价值，能够帮助我们更好的了解我们的用户，服务我们的用户。要解决这些问题，通常会用到一些已有的分类算法，比如逻辑回归，或者支持向量机。它们都属于有监督的学习，因此在使用这些算法之前，必须要先收集一批标注好的数据作为训练集。有些标注可以从log中拿到（用户的点击，购买），有些可以从用户填写的信息中获得（性别），也有一些可能需要人工标注（评论情感极性）。另一方面，知道了一个用户或者一条评论的标签后，我们还需要知道用什么样的特征去描述我们的数据，对用户来说，可以从用户的浏览记录和购买记录中获取相应的统计特征，而对于评论来说，最直接的则是文本特征。这样拿到数据的特征和标签后，就得到一组训练数据：

$D=(x^1,y_1),(x^2,y^2)\dots(x^N,y^N)$
其中 $x^i$是一个 $m$ 维的向量，$xi=[x^i_1,x^i_2,\dots,x^i_m]$,$y$ 在 {0, 1} 中取值。（本文用{1，0}表示正例和负例，后文沿