Datawhale 西瓜书第三章

    本章主要介绍线性模型进行二分类和多分类问题。

 1、线性回归   线性回归模型在机器学习中应用广泛，通常，线性模型表示为属性的显性组合，即

    更一般的形式为：

    损失函数定义为真实值与预测值之间的差，通常使用均方误差来表示：

2、对数几率回归

       显性回归通常用于模型对真实样本的拟合，无法解决分类问题，为此，对数回归几率模型引入单调可微的sigmoid函数（与深度学习中的激活函数类似），也叫逻辑函数，定义为：

 对数几率回归的损失函数定义为：

    使用极大似然估计对模型参数进行估计，就可以得到对数几率回归模型。

3、线性判别分析（LDA）

      此LDA模型非主体模型中的LDA（Latent Dirichlet Allocation），其实是一种降维的方法，将样本投影到二维的直线上。 该模型的目标函数为：