线性回归 逻辑回归 树回归

 为什么逻辑回归要用sigmoid函数？

首先sigmoid函数曲线非常漂亮，连续平滑且对称，当输入值趋于无限大或者无限小时，函数值趋于0和1，对输入不是很敏感。由于该函数求导是连续平滑的，而逻辑回归在梯度方向搜索最优权值，所以该函数比较好。

逻辑回归也可以用其他分类函数，比如softmax，现在进行比较：

分类判别函数在神经网络中比较常用的是sigmoid函数和softmax函数。

Sigmoid函数最后得到的向量之和不为1，softmax得到的向量个为1.

也就是说，softmax函数在强调突出某一个输出值的时候，会削弱其他值，只允许一个分类结果出现，比如性别预测。而sigmoid允许多个值同时并存。允许多种分类情况出现，比如病症诊断。