C++系统编程之缓存

全文以SSD6 Exercise5为例。

首先明确任务目的，我们学习缓存原理的终极目的是利用其机制，来提高程序运行效率。

其中对编码最重要的一点是，充分利用时间空间局部性。

考虑这样一个循环，其实质是将一个图像逆时针旋转90度。

void rotate(int dim, pixel *src, pixel *dst) {
	int i, j;

	for(i=0; i < dim; i++) {
		for(j=0; j < dim; j++) {
			COPY(&dst[PIXEL(dim-1-j,i,dim)], &src[PIXEL(i,j,dim)]);
		}
	}

	return;
}

这里src的遍历完全符合空间局部性，但是dst就没那么幸运了；毕竟是旋转90度，一个矩阵按行遍历，另一个矩阵就只能按列遍历。

那么单纯地调换i和j的顺序是没用的，所以我们该怎么做呢？

---

用两个字来概括就是：分块。

虽然dst是按列遍历的，但是我们可以适当减少行的长度，这样我们同样的缓存大小，就可以多放很多列进去，但是我们也不能无脑的减少行的长度，比较src还要利用这个特性。

所以所分块的大小是根据缓存大小来决定的。

那么具体的关系是什么呢？

举个例子，我们有16kB大小的缓存，每个数据占4B，数组大小为1024*1024，这时我们应该将上图中的m和n设为4，因为我们每行和每列的大小都是1024，所以若要缓存不进行替换，我们最多只能放4行或者4列。

试想，我们放了4行，1024列进缓存，这时我们按列遍历，遍历完第一列，可以顺势继续遍历第二列，不需要再访问内存，这样列遍历也完美地利用了空间局部性，提高了效率。

反之，若我们正常遍历，按列遍历4次之后，我们就需要再访问内存，一直这样下去，缓存命中率极低。

---

总结：

• 缓存并不神秘，可以把它当作一块高速内存，针对其做的优化的思路无非就是提高缓存命中率。
• 分块思想非常巧妙，需要反复体会。