dpdk之CPU绑定

Linux对线程的亲和性是有支持的，在Linux内核中，所有线程都有一个相关的数据结构，称为task_count，这个结构中和亲和性有关的是cpus_allowed位掩码，这个位掩码由n位组成，n代码逻辑核心的个数。

Linux内核API提供了一些方法，让用户可以修改位掩码或者查看当前的位掩码。

sched_setaffinity();   //修改位掩码，主要事用来绑定进程
sched_getaffinity();   //查看当前的位掩码，查看进程的亲和性
pthread_setaffinity_np();//主要用来绑定线程
pthread_getaffinity_np();//查看线程的亲和性

使用亲和性的原因是将线程和CPU绑定可以提高CPU cache的命中率，从而减少内存访问损耗，提高程序的速度。多核体系的CPU，物理核上的线程来回切换，会导致L1/L2 cache命中率的下降，如果将线程和核心绑定的话，线程会一直在指定的核心上跑，不会被操作系统调度到别的核上，线程之间互相不干扰完成工作，节省了操作系统来回调度的时间。同时NUMA架构下，如果操作系统调度线程的时候，跨越了NUMA节点，将会导致大量的L3 cache的丢失。这样NUMA使用CPU绑定的时候，每个核心可以更专注的处理一件事情，资源被充分的利用了。

DPDK通过把线程绑定到逻辑核的方法来避免跨核任务中的切换开销，但是对于绑定运行的当前逻辑核，仍可能发生线程切换，若进一步减少其他任务对于某个特定任务的影响，在亲和性的基础上更进一步，可以采用把逻辑核从内核调度系统剥离的方法。

DPDK的多线程

DPDK的线程基于pthread接口创建（DPDK线程其实就是普通的pthread），属于抢占式线程模型，受内核调度支配，DPDK通过在多核设备上创建多个线程，每个线程绑定到单独的核上，减少线程调度的开销，以提高性能。

DPDK的线程可以属于控制线程，也可以作为数据线程。在DPDK的一些示例中，控制线程一般当顶到MASTER核（一般用来跑主线程）上，接收用户配置，并传递配置参数给数据线程等；数据线程分布在不同的SLAVE核上处理数据包。

EAL中的lcore

DPDK的lcore指的是EAL线程，本质是基于pthread封装实现的，lcore创建函数为：

rte_eal_remote_launch();

在每个EAL pthread中，有一个TLS（Thread Local Storage）称为_lcore_id，当使用DPDk的EAL ‘-c’参数指定核心掩码的时候，EAL pehread生成相应个数lcore并默认是1:1亲和到对应的CPU逻辑核，_lcore_id和CPU ID是一致的。

下面简要介绍DPDK中lcore的初始化及执行任务的注册

初始化

所有DPDK程序中，main()函数执行的第一个DPDK API一定是int rte_eal_init(int argc, char **argv);，这个函数是整个DPDK的初始化函数，在这个函数中会执行lcore的初始化。

初始化的接口为rte_eal_cpu_init()，这个函数读取/sys/devices/system/cpu/cpuX下的相关信息，确定当前系统有哪些CPU核，以及每个核心属于哪个CPU Socket。

接下来是eal_parse_args()函数，解析-c参数，确认可用的CPU核心，并设置第一个核心为MASTER核。

然后主核为每一个SLAVE核创建线程，并调用eal_thread_set_affinity()绑定CPU。线程的执行体是eal_thread_loop()。eal_thread_loop()主体是一个while死循环，调用不同模块注册的回调函数。

注册

不同的注册模块调用rte_eal_mp_remote_launch()，将自己的回调函数注册到lcore_config[].f中，例子（来源于example/distributor）

rte_eal_remote_launch((lcore_function_t *)lcore_distributor, p, lcore_id);