交叉熵损失函数整理

一.交叉熵函数的由来(推导)

1.1普通推导交叉熵 ：

我们一共有m组已知样本, $(x^{(i)},y^{(i)})$表示第i组数据及其对应的类别标记,
其中$x^{(i)}=(1,x_1^i,x_2^i,x_3^i\dots x_p^i)$, $y^{(i)}$则为表示类别的一个数：

1. logistic回归（二分类问题）中，$y(i)$取0或者1；
2. softmax回归 （多分类问题）中，$y(i)$取1,2…k中的一个表示类别标号的一个数（假设共有k类)
   
   
   以上来自交叉熵代价函数(损失函数)及其求导推导 (Logistic Regression)

1.2极大似然推导交叉熵：

二.交叉熵函数直观理解

单个样本的交叉熵损失函数（注意这里是用单个样本做例子,因此公式里没有$\Sigma$）：
$$Loss=-[ylog\hat{y}+(1-y)log(1$$