Linpack使用Infiniband网络计算时内存分配问题

最新推荐文章于 2024-09-10 00:00:00 发布

原创最新推荐文章于 2024-09-10 00:00:00 发布 · 1.9k 阅读

1 ·

CC 4.0 BY-SA版权

高性能计算专栏收录该内容

25 篇文章

订阅专栏

本文解决了一个在使用Linpack进行Infiniband网络计算时遇到的内存溢出问题。通过调整配置文件中的参数，成功解决了reg_mrCannotallocatememory的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Linpack使用Infiniband网络计算时出现如下问题:

reg_mr Cannot allocate memory !!!

问了浪潮的工程师，据说是Linpack计算时一个阀值设大了，出现了内存溢出问题。

解决方法: 在ib网的配置文件 /etc/modprobe.d/mlx4_en.conf 中加入如下信息:

options mlx4_core log_num_mtt=24 log_mtts_per_seg=1

cat /etc/modprobe.d/mlx4_en.conf
install mlx4_core /sbin/modprobe --ignore-install $((/sbin/modprobe -c | grep -wq "^allow_unsupported_modules") && echo '--allow-unsupported-modules') mlx4_core && if [ -e /etc/infiniband/openib.conf ]; then if ( grep -q "^MLX4_EN_LOAD=yes" /etc/infiniband/openib.conf > /dev/null 2>&1); then /sbin/modprobe mlx4_en; fi; else /sbin/modprobe mlx4_en; fi
install mlx4_en /sbin/modprobe --ignore-install $((/sbin/modprobe -c | grep -wq "^allow_unsupported_modules") && echo '--allow-unsupported-modules') mlx4_en && if [ -e /etc/infiniband/openib.conf ]; then if ( grep -q "^RUN_SYSCTL=yes" /etc/infiniband/openib.conf > /dev/null 2>&1); then /sbin/sysctl_perf_tuning load; fi; fi
remove mlx4_en /sbin/sysctl_perf_tuning unload ; /sbin/modprobe -r --ignore-remove mlx4_en

# Configure Flow Control
# pfctx:Priority based Flow Control policy on TX[7:0]. Per priority bit mask (uint)
# pfcrx:Priority based Flow Control policy on RX[7:0]. Per priority bit mask (uint)
options mlx4_core pfctx=0 pfcrx=0
options mlx4_core log_num_mtt=24 log_mtts_per_seg=1