前所未有的详细总结 BLAS（一）：GEMM Routine（零）

高性能计算例程：GEMM （零）

一、背景：

1. GEMM(General Matrix Multiplication）全称为“通用矩阵乘法”；
2. GEMM是BLAS(Basic Linear Algebra Subprograms)中Level 3的例程，也是整个BLAS最重要的例程之一；

二、例程(以double类型为例)：

1.功能：

计算 $\alpha \ast A^{\prime }\ast B^{\prime }+\beta \ast C$的值，然后将结果存入C中,

即：
$$C⟵\alpha \ast A^{\prime }\ast B^{\prime }+\beta \ast C$$
其中：

（1）$$\alpha \text{和}\beta \text{为标量常数}$$
（2）$$A^{\prime }=op(A)=\{\begin{array}{rlrl}& A& ,& \text{op is no transpose}\\ & A^T& ,& \text{op is transpose}\end{array}$$
（3）$$B^{\prime }=op(B)=\{\begin{array}{rlrl}& B& ,& \text{op is no transpose}\\ & B^T& ,& \text{op is transpose}\end{array}$$
(4)$$A^{\prime }\text{ is }k\text{ by }m\text{ : }(A^{\prime }{)}_{m\times k}$$
(5)$$B^{\prime }\text{ is }n\text{ by }k\text{ : }(B^{\prime }{)}_{k\times n}$$
(6)$$C\text{ is }n\text{ by }m\text{ : }(C{)}_{m\times n}$$
即：
$$C=\alpha \ast op(A)\ast op(B)+\beta \ast C$$

2.例程：

void cblas_dgemm 
(
	const CBLAS_LAYOUT Layout, 
	const CBLAS_TRANSPOSE transa,
	const CBLAS_TRANSPOSE transb, 
	const CBLAS_INT m, 
	const CBLAS_INT n, 
	const CBLAS_INT k, 
	const double alpha,
	const double *a, 
	const CBLAS_INT lda, 
	const double *b, 
	const CBLAS_INT ldb, 
	const double beta, 
	double *c, 
	const CBLAS_INT ldc
);

参数说明：

• (1) const CBLAS_LAYOUT Layout:
  矩阵的存储方式：列优先或者行优先。
  列优先：Column-Major
  行优先：Row-Major
  作者（我 E2MCC）补充：
  其实矩阵的有多种存储方式，如块行优先存储，块列优先存储，对于稀疏矩阵而言还有 COO(Triplet) CSC CSR ELL DIA 等存储方式。这里的 ColMaj 和RowMaj 是最常见的稠密矩阵的基本存储方式。

• (2) const CBLAS_TRANSPOSE transa:
  对 $A$ 进行转置操作：转置或不转置（Transpose $A$ or not）

• (3) const CBLAS_TRANSPOSE transb:
  对 $B$ 进行转置操作：转置或不转置（Transpose $B$ or not）

• (4) const CBLAS_INT m:
  m 表示实际运算时 $A$ 矩阵的行维度(行数)，也就是 op$(A)$ 的行维度；
  当然也是结果矩阵 $C$ 的行维度(行数)。

• (5) const CBLAS_INT k:
  k 表示实际运算时 $A$ 矩阵的列维度(列数)，也就是 op$(A)$ 的列维度；
  同时也是实际运算时 $B$ 矩阵的行维度(行数)，也就是 op$(B)$ 的行维度。

• (6) const CBLAS_INT n:
  n 表示实际运算时 $B$ 矩阵的列维度(列数)，也就是 op$(B)$ 的列维度；

• (7) const double alpha:
  常数项 $\alpha$。

• (8) const double * a :
  a 为一个指针，指向 $A$ 矩阵数据在内存中的位置。

• (9) const CBLAS_INT lda:
  Leading Dimension of A：表示 $A$ 矩阵数据在内存中存储时的步长。
  注意：这里 lda 是指的 A 的 leading dimension 而不是 op$(A)$的 leading dimension。

• (10) const double * b:
  b为一个指针，指向 $B$ 矩阵数据在内存中的位置。

• (11) const CBLAS_INT ldb:
  Leading Dimension of B：表示 $B$ 矩阵数据在内存中存储时的步长。
  注意：这里 ldb 是指的 B 的 leading dimension 而不是 op$(B)$的 leading dimension。

• (12) const double beta:
  常数项 $\beta$。

• (13) double * c:
  c 为一个指针，指向 $C$ 矩阵数据在内存中的位置。

• (14) const CBLAS_INT ldc:
  Leading Dimension of C：表示 $C$ 矩阵数据在内存中存储时的步长。
  注意：这里 ldc 是指的 C 的 leading dimension 而不是 op$(C)$的 leading dimension。

3.Leading dimension详细解释

（1）leading dimension 是什么?
leading dimension 是二维逻辑矩阵映射到一维内存空间时的映射方程的系数。
（2）为什么要使用leading dimension？leading dimension和m，n，k有什么区别？
当A矩阵就是一整个矩阵时，leading dimension确实为A矩阵的行数或者列数，但是若A矩阵仅仅只是一个更大的矩阵中的一部分时，那么leading dimension 必定不等于A的行数或列数了。如下图所示：