Softmax函数防止溢出，稳定计算

Softmax函数

用户:

cv::Mat softmax(const cv::Mat& src) {
   
    CV_Assert(src.type() == CV_32FC1); // 确保输入矩阵是单通道的32位浮点类型
    for (auto i = 0; i < src.rows; ++i) {
   
      cv::Mat singleRow = src.row(i);
      double max;
      cv::minMaxLoc(singleRow, NULL, &max, NULL, NULL);
      singleRow -= static_cast<float>(max);
      cv::exp(singleRow, singleRow);
      cv::Mat sumMat;
      cv::reduce(singleRow, sumMat, 1, cv::REDUCE_SUM, CV_32F);
      float sum = sumMat.at<float>(0, 0); // 假设 sumMat 是一个单列矩阵
      singleRow /= sum;
    }
    return src;
}

根据这个softmax把数学表达式写出来

ChatGPT:

Softmax函数是一种常用于多分类任务的激活函数，它能够将一个向量转换成概率分布。给定一个输入向量 $(\mathbf{z}=[z_1,z_2,\dots ,z_n])$，Softmax函数的输出是：

$$\text{softmax}(z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}$$

这个函数将输入向量中的每个元素 $z_i$转换为一个非负数，并且这些非负数的总和为1。

对于你的代码，假设输入矩阵 $\mathbf{X}$ 有 $m$ 行和 $n$ 列。代码的每一步操作可以用数学表达式表示如下：

1. 取每一行的最大值并减去它：
   对于矩阵 $\mathbf{X}$ 的第 $i$ 行 ${\mathbf{x}}_i$，找到最大值 $\max ({\mathbf{x}}_i)$ 并减去它，用公式表示为：
   $${\mathbf{x}}_i^{\prime }={\mathbf{x}}_i-\max ({\mathbf{x}}_i)$$

2. 对每个元素取指数：
   对于每个元素 ${\mathbf{x}}_{ij}^{\prime }$（第 $i$ 行第 $j$ 列的元素），取指数：
   $${\mathbf{y}}_{ij}=e^{{\mathbf{x}}_{ij}^{\prime }}$$

3. 计算每一行的元素和：
   对于第 $i$ 行，计算所有元素的和：
   $$S_i=\sum _{j=1}^n{\mathbf{y}}_{ij}$$

4. 每一行的元素除以该行的和：
   对于第 $i$ 行的每个元素，除以该行的和 $S_i$：
   $${\mathbf{z}}_{ij}=\frac{{\mathbf{y}}_{ij}}{S_i}$$

综合起来，对于矩阵 $\mathbf{X}$ 中的每一行 ${\mathbf{x}}_i$，Softmax函数的数学表达式是：

softmax ( x i ) = [ e x i 1 − max ⁡ ( x i ) ∑ j = 1 n e x