如何计算模型的FLOPs以全连接层为例

全连接层（Fully Connected Layer，也称为稠密层或线性层）的计算量公式是 输入特征数 × 输出特征数，这个公式的推导基于全连接层的数学运算方式。以下是详细的解释：

---

1. 全连接层的数学运算

全连接层的计算可以表示为矩阵乘法：
[
\mathbf{y} = \mathbf{W} \cdot \mathbf{x} + \mathbf{b}
]
其中：

• (\mathbf{x}) 是输入向量，维度为 (C_{\text{in}})（输入特征数）。
• (\mathbf{W}) 是权重矩阵，维度为 (C_{\text{out}} \times C_{\text{in}})。
• (\mathbf{b}) 是偏置向量，维度为 (C_{\text{out}})。
• (\mathbf{y}) 是输出向量，维度为 (C_{\text{out}})。

计算步骤：

1. 矩阵乘法：计算 (\mathbf{W} \cdot \mathbf{x})。
   • 每个输出特征 (y_i) 是输入特征 (x_j) 和权重 (W_{ij}) 的加权和。
   • 每个 (y_i) 需要 (C_{\text{in}}) 次乘法和 (C_{\text{in}}) 次加法。
   • 总共有 (C_{\text{out}}) 个输出特征，因此总的浮点运算量为：
     [
     C_{\text{in}} \times C_{\text{out}} \quad \text{（乘法）} +