Deep Learning的学习实践 2 -- 逻辑回归和人工神经网络

学习DeepLearning，必须要先学习逻辑回归模型（LR）和传统的人工神经网络模型（ANN），这个是基础。

 

简单说一下逻辑回归模型（LogisticRegression，这里翻译成逻辑回归可能不太准确，但是沿用目前大家常用的名称），这个模型是非常实用的，在工业界的机器学习应用中很多场景都会使用，这个模型简单有效，而且，可以处理非常高维的输入特征。其核心是逻辑回归函数，一般化的形式如下（这个函数也叫S形函数或Sigmoid函数）：

这里面的核心是自然对数的底数e（2.718281828459），他的作用是把正无穷到负无穷的所有数通过上述Sigmoid函数的输出压缩的0到1之间，（这个底数e是个神奇的数字，它能反应很多自然界的基本规律，它是大数学家欧拉发现的，所以定义为e。）（这里其实做了一个假设，自然界里，大多数自变量X和因变量Y的关系是S形的，事实上的确如此。另一个假设是各个自变量X之间是相互独立的。所以，在满足以上两个假设的条件下，使用逻辑回归方法比较好。）。所以你看到图中，X轴可以是负无穷到正无穷，而Y轴在0到1之间，这里的曲线拟合的就是自变量X与因变量Y的关系。不过，逻辑回归是一个广义线性模型（generalized linear model），那是因为，逻辑回归一般做二分类，我们把回归的曲线设定一个阀值，设因变量F(Z)即Y=0.5为分界点（此时Z=0，Y=1/(1+e^0)=0.5），小于0.5的是类别A，大于0.5的是类别B，然后通过逻辑回归模型的求解，即求解公式中的Z，常见的具体形式是a+bX1+cX2+…+wXn(就是N维特征的线性累加)，这里X1~Xn是n