Logistic函数和Softmax函数

• Logistic
  应用：
  Logisitic Regression，简称LR）作为一种对数线性模型被广泛地应用于分类和回归场景中，此外，logistic函数也是神经网络中最为常用的激活函数，即sigmoid函数 。
  logistic函数常用作二分类场景中，表示输入已知的情况下，输出为1的概率：
  
• Softmax
  softmax函数是logistic函数的一般形式，本质是将一个K维的任意实数向量映射成K维的实数向量，其中向量中的每个元素取值都介于（0,1）之间，且所有元素的和为1

详情博客1

博客2
应用：
softmax函数经常用在神经网络的最后一层，作为输出层，进行多分类

• 关系
  【相同】
  1、我们常用梯度下降算法来求模型损失函数的最优解，因为softmax回归是logistic回归的一般形式，因此最优模型的学习方法相同。
  2、logistic回归针对的是二分类情况，而softmax解决的是多分类问题，若softmax回归处理的是二分类问题，则表达式如下：
  
  【不同】
  1、logistic回归是二分类，通过“1对1（one vs one）“分类器和”1对其他（one vs the rest）“分类器转化为多分类；softmax回归进行的多分类，输出的类别是互斥的，不存在无法分类的区域，一个输入只能被归为一类；
  2、logistic多分类的解决办法：若构建K类的分类器，通过创建K类判定函数来解决无法分类的问题。假定K类判定函数为，对于输入样本x，