barrier 和preempt_disable() 学习 （转）

barrier 和preempt_disable() 学习

分类：Linux内核学习 2012-07-25 00:36 394人阅读 评论(0) 收藏 举报

[cpp] viewplain copy print ?

1. #define preempt_disable() \  
2. do{ \  
3.     inc_preempt_count(); \  
4.     barrier();    \  
5. }while(0)  

一、这个barrier 在干什么...

   内存屏障出现因为编译器或现在的处理器常会自作聪明地对指令序列进行一些处理，比如数据缓存，读写指令乱序执行等等。如果优化对象是普通内存，那么一般会提升性能而且不会产生逻辑错误。但如果对I/O操作进行类似优化很可能造成致命错误。所以要使用内存屏障，以强制该语句前后的指令以正确的次序完成。其实在指令序列中放一个wmb的效果是使得指令执行到该处时，把所有缓存的数据写到该写的地方，同时使得wmb前面的写指令一定会在wmb的写指令之前执行。rmb（读内存屏障）保证了屏障之前的读操作一定会在后来的读操作执行之前完成。wmb保证写操作不会乱序，mb指令保证了两者都不会。这些函数都是 barrier函数的超集。

这些函数在已编译的指令流中插入硬件内存屏障；具体的插入方法是平台相关的。

关于barrier()宏实际上也是优化屏障：

#define barrier()__asm__ __volatile__("": : :"memory")

CPU越过内存屏障后，将刷新自己对存储器的缓冲状态。这条语句实际上不生成任何代码，但可使gcc在barrier()之后刷新寄存器对变量的分配。

1）set_mb(),mb(),barrier()函数追踪到底，就是__asm____volatile__("":::"memory"),而这行代码就是内存屏障。
2）__asm__用于指示编译器在此插入汇编语句
3）__volatile__用于告诉编译器，严禁将此处的汇编语句与其它的语句重组合优化。即：原原本本按原来的样子处理这这里的汇编。
4）memory强制gcc编译器假设RAM所有内存单元均被汇编指令修改，这样cpu中的registers和cache中已缓存的内存单元中的数据将作废。cpu将不得不在需要的时候重新读取内存中的数据。这就阻止了cpu又将registers，cache中的数据用于去优化指令，而避免去访问内存。
5）"":::表示这是个空指令。barrier()不用在此插入一条串行化汇编指令。

6）__asm__,__volatile__,memory在前面已经解释。

不论是gcc编译器的优化还是处理器本身采用的大量优化，如Writebuffer, Lock-up free, Non- blocking reading, Register allocation,Dynamic scheduling, Multipleissues等，都可能使得实际执行可能违反程序顺序，因此，引入内存屏障来保证事件的执行次序严格按程序顺序来执行。

注意，barrier()只能防止编译器对指令做乱序优化，但是不会阻止cpu的乱序执行，要真正地避免这个优化，就要使用rmb、wmb、mb一类的函数了。()

二、为什么这里只用了barrier

[cpp] viewplain copy print ?

1. int i = 0;  
2. int a;  
3. i ++;  
4. a = i;  

cpu乱序执行，并非是全乱执行，它只是对于没有依赖性的指令乱序执行。
在我上面举的这个例子中，a=i就不会在i++之前执行，因为两条指令之间有依赖，称为WAW依赖（write after write）。同样，还有RAW、WAR依赖。

所以preempt_disable中对抢占计数器加是个安全的操作，和这个计数器有关联的指令不会被乱序执行，只需要防止编译器把相关指令提前即可，用barrier足够。
那么什么时候要防止乱序呢？通常在一个块内存，既对CPU可见，又对设备可见时。举个例子：
一个结构体

[cpp] viewplain copy print ?

1. struct dev  
2. {  
3.     int enable;  
4.     void *ptr;  
5. }dev;  

这个结构体所处的内存，设备和CPU都可以看到。正确操作设备的顺序是先给ptr指针赋值，在对enable写1启用设备。那么，下面的代码反应了这个过程：

[cpp] viewplain copy print ?

1. dev.ptr = buffer;  
2. dev.enable = 1;  

这里的两个写操作是没有相关性的。所以CPU可以乱序执行它们。这就造成了一个情况，ptr还没赋值之前，enable就已经写1了。那么设备可能在ptr为非法值时启动执行。我们要防止这种情况，就要用内存屏障。如下：

[cpp] viewplain copy print ?

1. dev.ptr = buffer;  
2. wmb();  
3. dev.enable = 1;  

三、这个preempt_disable()

先讲下linux的调度机制，linux下有两种调度方式：

1) 显式调度 , 进程自己因为缺少相应的所申请的资源 , 显式调用调度器 , 让出处理器 , 比如 : 内核申请的信号阻塞了 , 自旋锁锁住了。
2) 隐式调度,整个linux系统在运行过程中的非显示的调用调度器,这又分两种情况：
   A) 用户态抢占调度  比如:在系统调用,中断处理,异常处理返回用户态时,该进程的时间片已经用完。
   B) 内核态抢占调度  比如:当前内核态执行过程中事先没有禁止内核态抢占,有中断产生时,中断处理 又产生了更高级优先进程,那么就会直接抢占前面的内核态执行体。

 常见的调度点
1)进程被阻塞时比如申请资源时被阻塞
2)调整参数时  比如通过sched_setscheduler(),nice()等函数调整进程的调度策略,静态优先级时
3)睡眠进程被唤醒时  比如wake_up唤醒等待队列中的进程时,如果该进程具有更高优先级则会设置当前
          进程TIF_NEED_RESCHED,如果允许内核态抢占,则会调度一次,
            (这是由等待队列中的默认的唤醒函数控制的,默认的唤醒函数为:
            intdefault_wake_function(wait_queue_t*,unisgnedint  mode,int sync,void*key)
           EXPORT_SYMBOL(default_wake_function)
           因为EXPORT_SYMBOL了default_wake_function,所以我们可以制作我们自己的唤醒函数。
4)中断处理完时  如果中断处理过程中设置了TIF_NEED_SCHED标志,中断返回时,不论是要返回内核态还是用户态,都会发生一次抢占.当然,在这也会检查有没有软中断需要处理。
5)执行了preempt_enable()函数。

而我们在抢占式内核中，有三处地方需要显示的禁用抢占：
1.操作Per-CPU变量的时候，比如smp_processor_id()就是这一类问题，但一个进程被抢占后重新调度，有可能调度到其他的CPU上去，这时定义的Per-CPU变量就会有问题。下面是一个例子：
       struct this_needs_locking tux[NR_CPUS];
       tux[smp_processor_id()] = some_value;
       
       something = tux[smp_processor_id()];
这里如果没有抢占保护的话some_value与something可能返回不同的值。当处理CPUID时，可以考虑使用get_pcu()/put_cpu()接口，该函数对实现了禁用抢占，取得CPUID，使能抢占的序列。算是kernel推荐的使用方法。

2.必须保护CPU的状态。这类问题是体系结构依赖的。例如，在x86上，进入和退出FPU就是一种临界区，必须在禁抢占的情况下使用。

3.获得和释放锁必须在一个进程中实现。也就是说一个锁被一个进程持有，也必须在这个进程中释放。

禁用/使能抢占的函数主要有：
spin_lock()/spin_unlock()
disable_preempt()/enable_preempt()（禁止或使能内核抢占）调用下面的inc_preempt_count()/dec_preempt_count()，并且加入了memorybarrier。
inc_preempt_count()/dec_preempt_count()
get_cpu()/put_cpu()

相关数据结构及函数如下 :
struct thread_info 中
{
unisgned int preempt_count;-----(PREEMPT 0-7 位表示内核态禁止抢占计数器,SOFTIRQ8-15表示软中断禁止计数器,HARDIRQ16-27表示中断嵌套的深度 )
}
只要 PREEMPT 为 0 时才允许内核态抢占 .

preempt_disable()-------------- 主要执行 inc_preempt_count()( 增加 PREEMPT, 从而禁止内核态抢占 )
preempt_enable()-------------- 主要执行 preempt_enable_no_resched() 和 preempt_check_resched()
                   preempt_enable_no_resched() 主要执行 dec_preempt_count()
                    preempt_check_resched() 主要执行 test_thread_flag(TIF_NEED_RESCHED)
                       ( 是否设置了需要调度的标志 ) 和 preempt_schedule()( 进行内核态抢占调度 )