CPU的cache基础知识

CPU通常包含以下3种cache（这里只讨论数据cache）

1. L1 指令cache

2. L1 数据cache，通常每个核独享一个，典型大小为32K

3. L2数据cache，通常每2个核共享一个，典型大小为4M

CPU从来都不直接访问主存, 都是通过cache间接访问主存。访问cache的最小单位是cache line，也就是内存chunks，典型大小为64或128Byte。

CPU每次访问，先遍历 查找主存的地址是否在某个cache line中.  如果cache中没有找到, 把主存对应的一个chunk拷到对应的一个cache line中, 再从cache line中读取.

注意最小单位是cache line，相当于16个int(64Byte)。

以下两个代码：

for(int i=0;i<10000000;i++) a[i]*=3

for(int i=0;i<10000000;i+=16 ) a[i]*=3

虽然前者执行指令数是后者的16倍，但是实际执行的耗时差不多。原因就是程序的主要耗时是在内存进入cache中（改写cache耗时很少），后者虽然步长为16，但同样要遍历所有的chunk。

缓存设计的一个关键决定是确保chunk能够存储在某个cache line里。按照内存地址映射到cacheline的方式不同，可以分为三类：

1. Direct mapped cache ：一个chunk对应于唯一一个cache line slot

2. N-way set associative cache：一个chunk对应于一组N个cache line slot

3. full associative cache：每个chunk能对应于任意一个cache line slot

1的缺点是命中率低，3的缺点是实现复杂；2是较好的折中，最常见的是16-way set associative cache。

假设缓存大小为8M=2^22,每个chunk大小为64，划分为16-way，表示每个chunk可以映射到一组（set）16个cache line slot中，共有2^22/64/16=2^12=4096个不同的组

用每个chunk地址的末12位来定位。也就是说，每隔2^12*64byte的两个chunk，将会放在同一个set中，而每set里最多能放16个不同的cache line。

多个CPU公用cache和false cache line sharing问题

通常,L1是单个core独享，L2会有CPU的多个core共享，这里就有一致性的问题。当一个处理器改变了属于它自己缓存中的一个值，其它处理器就再也无法使用它自己原来的值，因为其对应的内存位置将被刷新(invalidate)到所有缓存。而且由于缓存操作是以cache line而不byte为粒度，所有缓存中整个cache line将被刷新。也就是说，其他cpu在操作同cache line中的其他数据时，也不得不去重新同步cache。这将使cache的missing 比例升高，整个程序的耗时翻倍。

解决该问题的方法是

1) 不同线程之间尽量少的访问全局变量, 尽量使用线程局部变量.

2) 如果一定要访问, 尽量让各个线程自己访问的区域cacheline对齐.不要让更新频率非常高（例如，计数器）和经常访问的变量分布在同一个cache line中

3) 频繁更新的存储和不频繁更新的存储分开.

参考文献：http://coolshell.cn/articles/10249.html

http://igoro.com/archive/gallery-of-processor-cache-effects/