统计学习方法6 - Logistic regression和最大熵

• Logistic Regression：判别模型，分类

• 二项Logistic Regression思路：
  线性回归的预测值为一系列实值，为了使输出值变成分类所需的0和1，需要有一个映射将线性回归的输出变在（0，1）之间。这个函数为sigmoid函数。
  
  将线性函数y = wx+b 先合并b到矩阵中：y = w’x’，代入到sigmoid函数中：
  
  但是现在只是将输出限定在（0，1）间，还没有完成0、1二分类，应该出现一个阈值作为0或者1的判断界限。这个阈值就是要学习的东西，反映在参数上就是w和b。
  
  
  
  那么目的就是将$P(y\mid x)$最大化，输出使它最大化的w和b

• 二项Logistic regression可以推广至多项Logistic Regression，原理使一样的，只是分类不在只是0和1

• 最大熵模型：判别模型

• 核心：解决约束最优化问题

• 思想：在给定训练集下，即给定约束(经验知识)下，能够得到符合约束的条件概率模型集合{P(y|X)}。其中，约束通过特征函数关联到条件概率，条件概率通过熵进行选择。

• 最大熵：在约束条件的情况下，会出现很多个满足约束条件的模型，其中该选哪一个呢？选择熵最大的，也就是最无法确定的是最符合自然规律的。

参考：https://blog.youkuaiyun.com/Smile_mingm/article/details/108388124?spm=1001.2014.3001.5501