OSDI论文:XRP: In-Kernel Storage Functions with eBPF_存储io路径上硬件与软件开销占比-优快云博客

本文链接：https://blog.youkuaiyun.com/QQ909988322/article/details/126924869

1.论文概述

当前NVMe存储设备的出现可以达到微秒级,Linux内核系统调用以及块存储设备所产生的开销的比例也明显上升.

2.背景和动机

![image.png](https://img-blog.csdnimg.cn/img_convert/cd713687ffe6f69473cd5b657b63b8d7.png#clientId=u6eca4c97-25d9-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=145&id=u094d9572&margin=[object Object]&name=image.png&originHeight=290&originWidth=1112&originalType=binary&ratio=1&rotation=0&showTitle=false&size=69123&status=done&style=none&taskId=u64183750-ff17-4699-ac3c-ac0f8611d52&title=&width=556)
新一代的NVMe中软件和硬件的开销几乎一致

存储io操作

![image.png](https://img-blog.csdnimg.cn/img_convert/412d28d3fbe816aec4c3af403f9ccd34.png#clientId=u49af4ee7-9eda-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=463&id=ua1c17676&margin=[object Object]&name=image.png&originHeight=926&originWidth=1658&originalType=binary&ratio=1&rotation=0&showTitle=false&size=291376&status=done&style=none&taskId=uc146ea40-7270-42c5-bc21-8862aa3dfb6&title=&width=829)
内核上下文切换消耗351纳秒占总开销的5.6%
应用程序执行读取的系统调用开销199纳秒占总开销3.2%
ext4文件系统开销2006纳秒占比32%
bio阻塞等待存储设备响应的开销379纳秒占比6%
NVMe驱动113纳秒占比1.8%
存储设备硬件响应开销3224纳秒占用比51.4%

得出的结论

软件开销占50%左右,其中文件系统占32%,另外由于bio和用户空间和内核空间切换也占了20%的开销

3.XRP方案

paper提出了XRP的方案,合并软件栈,消除内核态和用户态的开销.
paper中提到使用eBPF将用户态的处理逻辑放入内核太的NVMe驱动层,从而无需从用户态与内核态切换,只在内核态处理

![image.png](https://img-blog.csdnimg.cn/img_convert/13eb0d056d021a6c6cb88c0401da26b1.png#clientId=u6eca4c97-25d9-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=734&id=ue2625e56&margin=[object Object]&name=image.png&originHeight=1468&originWidth=1792&originalType=binary&ratio=1&rotation=0&showTitle=false&size=675840&status=done&style=none&taskId=u5f68fa5e-7ea2-4dae-ad72-4d19abae567&title=&width=896)

上图中黄色箭头是应用调用链路, 蓝色箭头是系统调用链路, 红色是NVMe驱动调用链路

收益

在传统的bio的场景下调用链路与黄色相同,会有内核与用户态上下文的切换开销,文件系统以及bio阻塞开销,NVMe协议以及设备开销
在使用io_uring的场景下调用链路会小于蓝色链路,没有上下文切换的开销和bio阻塞,但是会有文件系统开销,NVMe协议以及设备开销
在使用eBPF的场景下调用链路与红色链路相同,没有上下文切换/bio阻塞/文件系统开销,只有NVMe协议以及设备开销
![image.png](https://img-blog.csdnimg.cn/img_convert/795886085ee12f84fad6e09fa4a90707.png#clientId=u6eca4c97-25d9-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=316&id=ue3a2cd02&margin=[object Object]&name=image.png&originHeight=632&originWidth=2386&originalType=binary&ratio=1&rotation=0&showTitle=false&size=244840&status=done&style=none&taskId=u0e489ede-8013-4261-83eb-e9c88672d32&title=&width=1193)