LR算法

1. 算法思想

       逻辑回归算法（Logistic Regression，LR）是一种二分类算法，决策函数由条件概率分布P（Y|X）表示。其将线性回归的运算结果通过Sigmoid函数进行非线性映射到[0,1]区间的值，即以概率的形式表示预测类别。所以，当线性函数运算的结果越大，则P越接近1；当线性运行的结果越小，则P越接近0。

       当然，可将LR算法推广至多分类，一般称为多项逻辑回归或者softmax多分类。

2. 公式推导

1. 线性运算

2.非线性映射

3.似然函数

4.对数似然函数

5.损失函数

6.基于梯度下降法求解w

        具体公式可参考此篇博客：https://blog.youkuaiyun.com/weixin_30014549/article/details/52850870

        基于梯度下降算法获得训练权重W，然后利用决策函数进行类别的概率预测：

3. 多分类

方式一：（1 - vs - rest结构）

      1. 建立当前类与其他类的分类参数，需学习获得K个分类参数；

       2