Logistic回归

一、如何处理输入数据？

1、训练集的处理

对图片进行读取，得到相应的像素矩阵，假设为$m\times n$大小，如果为彩色图片则一张图片有$m\times n\times 3$个特征用一个列向量表示：
$x^{(1)}$

例如，某张图片的像素矩阵为：
$$\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]$$
那么，用列向量表示则为：$(x^{(1)}{)}^T=[123456789]$
彩色图片的像素，按照RGB的顺序依次排列

因此对于给出的训练集，可以表示为：$（x^{(1)},y^{(1)}）,（x^{(2)},y^{(2)}),....$
假设一张图片有$n_x$个特征，训练集中有$M_{train}$个样本，输入可以表示为一个矩阵：
$$\begin{gathered} X=[x^{(1)},x^{(2)},...,x^{(M_{train})}] \\ (XϵR^{n_x\times M_{train}}) \\ Y=[y^{(1)},y^{(2)},...,y^{(M_{train})}] \\ (YϵR^{1\times M_{train}}) \end{gathered}$$

2、测试集的处理

对测试图片的处理与训练集基本一样，将其转化为向量形式，只是缺少标签（即$y$），需要使用推理模型去预测

二、Logistic回归

1、基本流程

• 使用训练集，优化参数，得到参数：$w$和$b$（$wϵR^{n_x}$并且$ b\epsilon R$）

• 对于输入的测试图片，按照（一）中的处理得到：$x$（$xϵR^{n_x}$）

• 预测概率（输出）：$\hat{y}=\sigma (w^T\ast x+b)$

sigmod函数：$\sigma (z)=\frac{1}{1+e^{-z}}$

sigmod函数图像：

这里可以看出当$z$很大时，$\sigma (z)\approx 1$

当$z$很小时，$\sigma (z)\approx 0$

所以主要的工作是想办法优化参数$w和b$

2、损失函数

为了得到更好的参数，需要定义损失函数
在训练集里面：$（x^{(1)},y^{(1)}）,（x^{(2)},y^{(2)}),....$给出了标记
理论上来说，通过推理模型：$y=\sigma (w^{T}x+b)$计算出$\hat{y}$

越接近标准的标签$y$，这个推理模型就被认为越有效（实际上不需要完全一样，否则容易出现过拟合问题，导致对新数据的预测能力大大降低）

• 在线性回归里，一般定义损失函数：$L(\hat{y},y)=\frac{1}{2}(\hat{y}-y{)}^2$

但是在Logistic回归里，一般不采用，因为这个损失函数是非凸，这样会有多个局部最优解，梯度下降算法可能不能找到全局最优解

• Logistic回归的单个样本的损失函数（Loss Function）：**$L(\hat{y},y)=-(ylog\hat{y}+(1-y)log(1-\hat{y}))$，下面解释一下这个损失函数为何有效

由于$y$的取值只有0或1，而$\hat{y}$的取值在0~1之间，因此可以分情况讨论：

• 当$y=1$时，损失函数简化为：$L(\hat{y},y)=-log\hat{y}$
  和线性回归里所做的一样，我们希望损失函数的值越小，这样表明所预测的值（即$\hat{y}$）越接近标准值（$y$）

画出函数图像：

可以看出如果希望损失函数越小，那么$\hat{y}$应该越接近1

• 当$y=0$时，损失函数简化为：$L(\hat{y},y)=-log(1-\hat{y})$

函数图像为：

可以看出如果希望损失函数越小，那么$\hat{y}$应该越接近0

通过对单个样本的损失进行求和，得到整个训练集上的损失函数（成本函数，Cost Function）：

$J(w,b)=\frac{1}{M}{\sum }_{i=1}^{M}L({\hat{y}}^{(i))},y^{(i)})$

我们需要找到合适的$w和b$，来使成本函数$J(w,b)$尽可能的小

3、深入理解Logistic回归

（1）推理模型

推理模型的函数：$p(y=1|x)=\hat{y}$

这个函数解释起来就是，在已知$x$（图像特征）的前提下，这个图像的标签是1（$y=1$）的概率为：$\hat{y}$，因此$\hat{y}$就是计算图像与目标（所谓目标就是指标签为1）相似的概率

由概率论的知识可知：$p(y=0|x)=1-p(y=1|x)=1-\hat{y}$

以上公式可以用一个统一的公式表示：$p(y|x)={\hat{y}}^y(1-\hat{y}{)}^{(1-y)}$

• 当$y=0$时，上述公式变为：$p(y|x)=1-\hat{y}$

• 当$y=1$时，上述公式变为：$p(y|x)=\hat{y}$

（2）损失函数

上述推理模型的公式中，涉及到了指数，不方便进行计算和求导，因此引入$log$函数，其原因：

• 可以去掉指数，方便求导

• $log$函数是严格单调递增的

我们的目标是尽可能的将计算出来的$\hat{y}$接近标签$y$，以提高模型的准确率

损失函数：$L(\hat{y},y)=-(ylog\hat{y}+(1-y)log(1-\hat{y}))=-log(p(y|x))=-log({\hat{y}}^y(1-\hat{y}{)}^{(1-y)})$

至此，可以看出单个样本的损失函数实际上是概率计算公式取对数之后再取反的出来，之所以取反是因为损失函数反映的是损失的情况，我们希望损失越小越好

（3）最大似然估计

最大似然估计：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

由定义可知，最大似然估计用在这里再适合不过了。训练样本的结果（标签）已经知道，推理模型（函数）也是已知的，只有参数未定。

这里，我们希望找到一组参数，使得模型对给定样本的观测值的准确概率最大，对下面的公式取对数，再取反

$$p(w_1,w_2,......)=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)})$$

就可以得到在训练集上的损失函数：

$J(w,b)=\frac{1}{M}{\sum }_{i=1}^{M}L({\hat{y}}^{(i))},y^{(i)})$

这里的$\frac{1}{M}$是一个常数，对最后的结果没有影响