仙女的博客

神经网络代价函数（Cost Function）正则化逻辑回归的代价函数：神经网络的代价函数：L：是神经网络架构的层数Sl：l层的单元个数K：输出单元的个数sigmoid函数：def sigmoid(z): return 1 / (1 + np.exp(-z))前向传播函数：#前向传播函数def forward_propogate(X, theta1, theta2): m = X.shape[0] #m是X的行数

之前学习过的，无论是线性回归还是逻辑回归，都存在一个共同的缺点，当特征值过多时，计算量会变得非常庞大。假设我们有非常多的特征，如当大于100个变量，我们希望用这100个特征来构建一个非线性的多项式模型，结果将是数量非常惊人的特征组合，即便我们只采用两两特征的组合我们也会有接近5000个组合而成的特征。这对于一般的逻辑回归来说需要计算的特征太多了。普通的逻辑回归模型，不能有效地处理这么多的特征，这时候我们需要神经网络。神经网络（Neural Networks）神经网络的表示 ， 下图是

二元分类（Binary Classfication）分类，一种方法是使用线性回归，将所有大于0.5的预测映射为1，将所有小于0.5的预测映射为0。然而，这种方法并不能很好地工作，因为分类实际上不是一个线性函数。分类问题和回归问题一样，只是我们现在想要预测的值只有少量离散值。现在，我们将使用二元分类问题，其中y只能有两个值，0和1。如：y∈{0,1}，0代表良性肿瘤，1代表恶性肿瘤收到一封邮件，0代表是正常邮件，1代表是垃圾邮件逻辑回归（Logistic Regression）

多元线性回归（multivariate linear regression）多元假设函数：hθ​(x)=θ0​+θ1​X1​+θ2​X2​+θ3X3​+⋯+θn​Xn​h(x)可以表示为其中：X0=1多元梯度下降（Gradient Descent For Multiple Variables）多元梯度下降和一元的形式相同，重复求解θj直至收敛。我们可以通过让每个输入值在大致相同的范围内来加速梯度下降。这是因为θ在小范围内迅速下降，在大范围内缓慢下降，因此当变量非常不均匀时

​学习参考：吴恩达机器学习第一周机器学习（Machine Learning）机器学习是研究我们的计算机模拟或实现人类的学习行为，来获取新的知识或技能，并且重新组织这些新的知识来改善自身的性能。按照训练样本标签的有无可以分为以下两种常用方法：监督学习和无监督学习。监督学习（Supervised Learning）监督学习：通过已有的训练样本即已知数据以及其对应的输出去训练得到一个最优模型，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分