rados tools

最新推荐文章于 2024-07-18 16:13:13 发布

原创

最新推荐文章于 2024-07-18 16:13:13 发布 · 855 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#ceph #云计算

本文深入剖析了Ceph的radosbench工具启动时创建的隐藏线程，包括rados主线程、网络通信线程、日志记录、性能监控等，并揭示了global_init和common_init_finish等关键初始化过程。

rados bench 是 Ceph 自带的用来测试存储池性能的压测工具，其 main 函数在 src/tools/rados/rados.cc 中。rados.cc 集成了 rados 所有 bash 命令，可以通过 rados -h 查看帮助。开篇点题，让我们看看执行 rados bench 时，哪些线程被偷偷启动了。

#在一个终端开启 rados bench
[root@localhost build]# ./bin/rados -p rbd bench 60 write

#在另一个终端监控 rados 启动哪些线程
[root@localhost ~]# ps -ef | grep rados
root      17796  10743  0 16:08 pts/0    00:00:00 ./bin/rados bench -p rbd 60 write
root      17808  10765  0 16:09 pts/1    00:00:00 grep --color=auto rados
[root@localhost ~]# top -Hp 17796 -d 0.5
top - 16:19:51 up  6:36,  2 users,  load average: 2.54, 0.73, 0.35
Threads:  16 total,   0 running,  16 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  0.3 sy,  0.0 ni, 87.4 id, 12.3 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  3861288 total,   201816 free,  1232584 used,  2426888 buff/cache
KiB Swap:  4063228 total,  4063228 free,        0 used.  2327116 avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND                        
 20207 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.28 rados                          
 20208 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 msgr-worker-0                  
 20209 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.49 msgr-worker-1                  
 20210 root      20   0 1328848  95972  20544 S  0.0  2.5   0:01.60 msgr-worker-2                  
 20215 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 log                            
 20216 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 service                        
 20217 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 admin_socket                   
 20222 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 rados                          
 20223 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 ms_dispatch                    
 20224 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 ms_local                       
 20225 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 safe_timer                     
 20226 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 fn_anonymous                   
 20227 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 safe_timer                     
 20228 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 safe_timer                     
 20229 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.01 fn-radosclient                 
 20230 root      20   0 1328848  95972  20544 S  0.0  2.5   0:00.00 write_stat

可以看到除了本身执行 rados bench 命令的线程外，还有十几个线程被创建出来。简单介绍下，线程号为20207的 rados 线程是 rados bench 命令的主线程，msgr-worker-0~3 是用来网络通信的三个工作线程，log 是用来记录日志的日志线程，service 是监控本地性能参数的线程，admin_socket 是对外提供查询接口的线程，ms_dispatch 和 ms_local 是用来处理消息分发的线程，safer_timer 是执行定时任务的线程，fn_anonymous 和 fn-radosclient 则是处理所有模块收尾工作的线程。

1. rados main()

以下给出了 rados 模块的 CMakeLists.txt 文件，可以看到 rados 一共包含了哪些源文件和链接了什么库。

# rados 源文件
set(rados_srcs 
 rados/rados.cc
 RadosDump.cc
 rados/RadosImport.cc
 rados/PoolDump.cc
 ${PROJECT_SOURCE_DIR}/src/common/util.cc
 ${PROJECT_SOURCE_DIR}/src/common/obj_bencher.cc
 ${PROJECT_SOURCE_DIR}/src/osd/ECUtil.cc)
add_executable(rados ${rados_srcs})
# 链接库
target_link_libraries(rados librados global ${BLKID_LIBRARIES} ${CMAKE_DL_LIBS})
if(WITH_LIBRADOSSTRIPER)
 target_link_libraries(rados radosstriper)
else()
 target_link_libraries(rados cls_lock_client)
endif()
install(TARGETS rados DESTINATION bin)

/src/tools/rados.cc 中提供了 rados 工具的入口 main() 函数。其实，main()函数主要进行了4步工作：参数解析、全局初始化、初始化 CephContest和调用 rados_tool_common() 函数。在传入 main() 的参数中：argc 表示传入的参数个数，argv 以二维数组的方式记录了参数值。函数argv_to_vec(argc, argc, args)功能是把参数解析，并存入 args vector 中。例如，输入命令：rados bench -p rbd 10 write。agrs解析得到后的结果[“bench”, “-p”, “rbd”, “10”, “write”]。后续的的 if-else 循环中，依然是参数解析，这一步的作用是解析参数名和参数值，把结果放在 opts map 中。例如“-p rbd”被解析成“pool : rbd”。

global_init()，即全局初始化，参数 CEPH_ENTITY_TYPE_CLIENT 和 CODE_ENVIRONMENT_UTILITY 分别表示该模块是 CLIENT 和代码环境为应用程序。此外还有 MON 、MDS、OSD等模块，DEAMON、LIBRARY 等代码环境。

后文将逐步介绍 global_init()、common_init_finish()、rados_tool_common()。

//rados.cc

int main(int argc, const char **argv){
    ...;
    argv_to_vec(argc, argv, args); //参数解析
    ...;
    auto cct = global_init(NULL, args, CEPH_ENTITY_TYPE_CLIENT, CODE_ENVIRONMENT_UTILITY, 0);
    common_init_finish(g_ceph_context);//初始化 CephContext
    ...;
    else if (ceph_argparse_flag(args, i, "--force-full", (char*)NULL)) //参数解析，放入 map 中
        opts["force-full"] = "true";
    ...;
    return rados_tool_common(opts, args);//根据 args 调用相关 rados 命令
}

2. global_init()

global_init() 是全局初始化函数，所有的 ceph 相关进程（rados，ceph，rbd等）都需要执行该操作，msgr-worker 和 log 线程都是在这一步创建的。该函数主要目的是进行参数的初始化解析工作、创建 CephContext、开启一些基础线程以及执行一些通用的预处理工作。

run_pre_init 标志位默认是 true，所以通常情况下，都会执行 global_pre_init()。下文会详细介绍。

block_signals() ，此函数屏蔽了 siglist[] 中的信号，这里是 SIGPIPE 信号。SIGPIPE 信号是服务端断开链接后发送给客户端的信号，一般来说客户端收到 SIGPIPE 信号会立刻中断进程。Ceph 不希望出现客户端突然中断，所以这里屏蔽了该信号。install_