【Andrew Ng Deep Learning个人学习笔记】 2、神经网络基础（1）

构建训练集的矩阵时，使用以下形式：

$$X=\left(\begin{array}{cccc}⋮& ⋮& & ⋮\\ x^{(1)}& x^{(2)}& \cdots & x^{(m)}\\ ⋮& ⋮& & ⋮\end{array}\right)X\in R^{n\times m}$$
$$Y=\left(\begin{array}{cccc}{y}^{(1)}& y^{(2)}& \cdots & y^{(m)}\end{array}\right)Y\in R^{1\times m}$$
  
  

逻辑回归（Logistic Regression）

   Given X, $\hat{y}$ = P(y = 1 | X)   0 $\le$ $\hat{y}$ $\le$ 1
   即预测值 $\hat{y}$ 为：X条件下, y = 1的概率。
  
  

参数说明（Parameters specification）

   输入的特征向量(Feature Vector)X:  X $\in$ $R^{n_x}$ , $n_x$为特征的数量;
   训练标签(Training Label)Y:  Y $\in$ {0， 1} ;
   权重(Weights)w:  w $\in$ $R^{n_x}$ ;
   阈值？？(Threshold)b:  b $\in$ $R$ ;
   输出(Output)$\hat{y}$:  $\hat{y}$ = $\sigma$($w^T$x + b) ;
   $S$型函数（Sigmoid Function）: $S$ = $\sigma$($w^T$x + b) = $\sigma$($z$) = $\frac{1}{1+e^{-z}}$;
   参数向量（Parameter Vector）:   $\Theta$ = $$\left(\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_m\end{array}\right)$$
  
  

损失函数（Loss/Error Function）

  $l({\hat{y}}^{(i)},y^{(i)})=\frac{1}{2}({\hat{y}}^{(i)}-y^{(i)}{)}^2$
  一般情况下，我们使用平方误差（Squared Error）来衡量损失函数，但是一个非凸函数，运行梯度下降算法时，很大可能性取到的是局部最优解，而我们想要的是全局最优解，因此一般情况下不使用这种损失函数。
  
一般使用这种形式的损失函数：
  $l({\hat{y}}^{(i)},y^{(i)})=-[y^{(i)}log({\hat{y}}^{(i)})+(1-y^{(i)})log(1-{\hat{y}}^{(i)})]$
     $if$  ${\hat{y}}^{(i)}==1:l({\hat{y}}^{(i)},y^{(i)})=-y^{(i)}log({\hat{y}}^{(i)})$
     $if$  ${\hat{y}}^{(i)}==0:l({\hat{y}}^{(i)},y^{(i)})=-(1-y^{(i)})log(1-{\hat{y}}^{(i)})$
  
  

代价函数（Cost Function）

  $J(w,b)=\frac{1}{m}{\sum }_{i=1}^{m}l({\hat{y}}^{(i)},y^{(i)})$
      $=-\frac{1}{m}{\sum }_{i=1}^m[y^{(i)}log({\hat{y}}^{(i)})+(1-y^{(i)})log(1-{\hat{y}}^{(i)})]$
  
  

对比Cost Function与Loss/Error Function

  Loss/Error Function衡量单个训练样本上的表现；Cost Function是Loss Function在整个训练集（Training set）上的平均值。