numa不是我想象

mongo启动没有增加关闭numa选项
进行数据库的预热,由于集合dnscoll比较大,加索引100多G,因此预热需要一段时间
db.runCommand({"touch" : "dnscoll", "data" : true, "index" : true})
这个过程中观察CPU,发现 id为20的CPU idle为0,这个属于正常情况,说明预热进程消耗的CPU是在 ID为20的CPU上
02:57:15 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
02:51:29 PM   20    0.00    0.00    6.67   92.38    0.00    0.95    0.00    0.00    0.00

然后查看numa节点的内存消耗情况,发现ID为20的CPU所在节点的内存在逐渐减少
[lsmpusr@wxlab31 bin]$ numactl --show
policy: default
preferred node: current
physcpubind: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 
cpubind: 0 1 2 3 
nodebind: 0 1 2 3 
membind: 0 1 2 3 


[lsmpusr@wxlab31 bin]$ numactl --hardware
available: 4 nodes (0-3)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 40 41 42 43 44 45 46 47 48 49
node 0 size: 32757 MB
node 0 free: 31597 MB
node 1 cpus: 10 11 12 13 14 15 16 17 18 19 50 51 52 53 54 55 56 57 58 59
node 1 size: 32768 MB
node 1 free: 31941 MB
node 2 cpus: 20 21 22 23 24 25 26 27 28 29 60 61 62 63 64 65 66 67 68 69
node 2 size: 32768 MB
node 2 free: 23126 MB
node 3 cpus: 30 31 32 33 34 35 36 37 38 39 70 71 72 73 74 75 76 77 78 79
node 3 size: 32767 MB
node 3 free: 31887 MB
node distances:
node   0   1   2   3 
  0:  10  20  20  20 
  1:  20  10  20  20 
  2:  20  20  10  20 
  3:  20  20  20  10 
由于我numa的策略用的是default也就是在本地节点分配内存。
那么是不是等到CPU 20所在的节点本地内存耗完后,就会淘汰之前的内存,继续把数据放在它的本地内存呢?
但是事实不是这样的,发现CPU 20节点的本地内存使用完成后,又继续使用其他CPU节点的内存。也就是说没有出现swap insanity。原因。。不清楚,写个文章就是记录这个异常,期待哪天遇到高人。。
在预热过程中,始终只有CPU 20是活跃的,其他CPU都处于休息状态。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22034023/viewspace-1073563/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/22034023/viewspace-1073563/

NUMA为何物?对系统性能有什么影响? 在UMA中,所有的处理器共享同一个内存资源,随着处理器数量的增加,内存访问延迟也会增加,这限制了系统的性能扩展。Linux内核中的page cache是一种用于管理内存的机制,它通过将数据缓存在本地内存中,可以减少对磁盘的访问次数,从而提高文件系统的性能。然而,有些居民住在城市的这个区域,而仓库建在另一个区域,那么你就要花更多的时间和精力,穿过整个城市去取包裹,这就像访问远程内存一样。那么,在这样的公司里,如果一个部门的人要找另一个部门的人,就得先穿过走廊,走到对方的部门。也就是说,距离越远,时间越长。 阅读详情

相关推荐

Linux性能调优实战:NUMA配置与PCIe设备绑定策略

本文深入探讨了Linux服务器性能调优中的NUMA配置与PCIe设备绑定策略。针对高性能服务器因NUMA架构配置不当导致的性能瓶颈,文章提供了从快速诊断、设备归属探查到实战绑定的完整方案。重点讲解了如何通过检查PCIe设备的NUMA节点归属,并利用驱动参数、numactl命令等方法将其绑定至正确的节点,从而避免跨节点内存访问,显著降低延迟,释放硬件全部潜力。

q3r4s5t的博客 779

自定义调度器--负载均衡之概念篇(一)

cpu topology 参考文章:参考文章 基本概念 NUMA Non-uniform memory access (NUMA) is a computer memory design used in multiprocessing, where the memory access time depends on the memory location relative to the processor. Under NUMA, a processor can access its own local m

大吉 462

【性能优化实战】NUMA架构深度解析与应用指南

本文深度解析了NUMA(非统一内存访问)架构的原理及其对多核服务器性能的影响。针对性能调优,文章提供了从系统配置、内核参数调整到代码层面的实战优化策略,包括使用numactl进行CPU与内存绑定、禁用自动NUMA平衡以及利用libnuma库进行NUMA感知编程,旨在帮助开发者将NUMA从性能瓶颈转变为加速利器。

weixin_29235923的博客 183

获取内存NUMA信息

linux内核获取NUMA信息

RichardYSteven的专栏 4589

NUMA配置避坑指南:为什么你的高性能网卡总跑不满带宽?

本文深入剖析了NUMA架构对高性能网卡带宽的影响,提供了从原理到实践的完整避坑指南。通过lscpu、lspci等工具定位PCIe设备与NUMA节点的映射关系,并详细介绍了CPU中断绑定、内存分配优化等关键调优策略,帮助您解决网卡性能跑不满的难题,释放硬件全部潜力。

2w3e4r5t6y的博客 749

NUMA:内存的VIP通道,让你的系统跑得更溜!

NUMA 技术就像是一条 VIP 通道,让数据在多处理器系统中传输更快捷、更高效。通过把数据“贴近”各个 CPU 的方式,NUMA 能够大幅降低延迟,提高整体性能。无论你是在构建高性能数据库服务器,还是在虚拟化平台上运行海量虚拟机,NUMA 都能发挥重要作用。希望今天这篇轻松幽默的科普文章能让你对 NUMA 有一个清晰的认识。如果你在实际应用中有更多调优经验或疑问,欢迎留言交流,一起把系统跑得更溜!😊。

weixin_42587823的博客 1080

Linux内核揭秘:NUMA节点探测背后的故事

传统的SMP对称多处理器中,所有处理器都共享系统总线,因此当处理器的数目增大时,系统总线的竞争冲突加大,系统总线将成为瓶颈,所以目前SMP系统的CPU数目一般只有数十个,可扩展能力受到极大限制;NUMA技术有效结合了SMP系统易编程性和MPP(大规模并行)系统易扩展性的特点,较好解决了SMP系统的可扩展性问题,已成为当今高性能服务器的主流体系结构之一。基于NUMA架构的高性能服务器有HP的Superdome、SGI的Altix 3000、IBM的 x440、NEC的TX7、AMD的Opteron等;

深度Linux 1137

操作系统NUMA架构下的内存一致性优化

本文旨在帮助开发者和系统管理员理解NUMA架构下的内存访问特性,掌握优化内存一致性的关键技术。内容涵盖从硬件架构到操作系统调度的完整知识链。介绍NUMA架构的基本概念分析内存一致性的核心挑战探讨操作系统层面的优化策略提供实际代码示例和性能分析讨论未来发展趋势NUMA:非统一内存访问架构,多处理器系统中内存访问时间取决于内存位置内存一致性:多处理器系统中所有处理器对内存内容的一致视图缓存一致性:确保多核处理器中各个核心的缓存数据一致性的机制。

操作系统内核探秘的博客 2073

不了解NUMA,就看不懂Linux内核

哈喽,我是子牙,一个很卷的硬核男人深入研究计算机底层、Windows内核、Linux内核、Hotspot源码……聚焦做那些大家想学没地方学的课程。为了保证课程质量及教学效果,一年磨一剑,三年先后做了这些课程:手写JVM、手写OS、带你用纯汇编写OS、手写64位多核OS、实战Linux内核…最近在备课《实战Linux内核》内存专题,把NUMA好好研究了一下,写成文章,Mark一下,顺便分享给有缘人NUMA是什么呢?一种内存访问架构,与它相对应的是SMP架构,它俩之间有什么区别呢?

子牙老师 1426

C++ NUMA-Aware Allocators:针对非统一内存访问架构的分配器

但是,如果你要跑到别人的冰箱里拿东西,那就要走一段路,速度就会慢一些。希望今天的讲座能帮助你更好地理解 NUMA 编程,并在你的项目中应用 NUMA 感知分配器!准备好,我们要深入到内存分配的奇妙世界,特别是那些让多核处理器“心跳加速”的 NUMA 系统。它们可能会随机地在任何节点上分配内存,导致大量的跨节点内存访问,也就是我们说的“远程访问”。所以,如果你不小心把你的数据放在了别人的“冰箱”里,你的程序就会变得很慢。接下来,我们创建一个自定义的分配器类,它会在指定的 NUMA 节点上分配内存。

weixin_41455464的博客 1125

C++ NUMA (Non-Uniform Memory Access) 架构优化:跨内存节点访问

通过理解NUMA的原理,并结合C++提供的工具,你可以让你的程序在多核服务器上发挥出最大的潜力。记住,数据本地化和线程绑定是NUMA优化的核心,合理的数据划分和避免跨节点访问是提高性能的关键。好的,各位观众老爷,今天咱们来聊聊C++里的NUMA架构优化,这玩意儿听起来高大上,其实就是怎么让你的程序在多核服务器上跑得飞起,不卡顿。别担心,我保证用最接地气的方式,把这背后的门道给你们讲明白。如果你的程序不考虑NUMA,那很可能出现“远水解不了近渴”的情况,线程们抢着访问同一个远程内存节点,导致性能瓶颈。

weixin_41455464的博客 462

每个程序员都应该知道的 CPU 知识:NUMA

每个程序员都应该知道的 CPU 知识:NUMA

2501_93178906的博客 608

带标签的PHM2009齿轮箱数据集

PHM2009附加数据集—带标签的齿轮箱数据集,可用于测试算法

qq_39379705的博客 4877

解密操作系统领域NUMA的缓存一致性问题

随着CPU核心数量从“个位数”飙升到“百核时代”,传统内存架构的瓶颈日益凸显。NUMA架构的诞生背景与核心特征缓存一致性在NUMA中的特殊挑战主流一致性协议(如MESI、目录协议)的工作原理实际开发中如何应对NUMA缓存一致性问题用“班级传作业本”的故事引出NUMA架构解释NUMA、缓存一致性等核心概念分析NUMA为何加剧缓存一致性难题用代码实战演示一致性问题的具体表现介绍工具与优化方法UMA(统一内存访问):所有CPU核心访问同一块内存的延迟相同(像全班同学共用一个讲台)

操作系统内核探秘的博客 1165

具身智能数据采集的工程化指南:从时间同步到质量校验

具身智能的模型训练离不开高质量的多模态轨迹数据,而数据采集并非简单的传感器记录。真实场景中,相机图像、机械臂关节状态与力觉信息必须在时间轴上精确对齐,标定的漂移和格式混乱会让看似正常的数据无法用于训练。时间同步与标定一致性,是决定数据质量的核心技术环节。在机器人抓取、操作等工程应用中,一套包含多传感器同步、轻量记录脚本、自动化质量校验与版本管理的数据采集流程,能大幅降低数据生产的失败率。本文从工程视角拆解具身数据采集中的典型问题,并给出可落地的流程设计与校验方法,帮助团队构建可持续迭代的高质量数据集。

weixin_30603633的博客 511

别再到处找包了!Keil5芯片支持包(Pack)最全管理指南:安装、更新、迁移与离线备份

本文详细解析了Keil5芯片支持包(Pack)的全生命周期管理,包括安装、更新、迁移与离线备份的工程化解决方案。针对STM32F10x等常见芯片,提供了高效获取Pack的策略、版本管理技巧及团队协作方案,帮助开发者解决常见的'Device Family Pack missing'等问题,提升嵌入式开发效率。

weixin_28729205的博客 542

DPDK 性能调优之NUMA亲和性配置队列与阈值

你看到的参数,并不是随便写的,它是基于以下事实得出的严谨结论:“我的网卡插在 Node 0 上,所以我必须把 DPDK 的线程绑在 Node 0 的 CPU 上(即 0-17, 36-53),才能实现‘CPU 靠近网卡’,避免跨节点延迟,发挥DPDK的高性能。这里必须强调一个关键原则:如果你换了一台服务器,或者调整了网卡的PCIe插槽,这个参数必须重新计算,不能直接照搬。

m0_74186706的博客 979

基于ROS与Gazebo的多机器人三角形编队仿真实践

本文详细介绍了基于ROS与Gazebo的多机器人三角形编队仿真实践,从环境搭建到编队控制的全过程。通过TurtleBot3机器人模型和TF坐标系系统,实现三个机器人的三角形编队控制,适用于机器人协同作业与编队算法研究。

weixin_29313817的博客 187

NUMA架构下的性能调优实战:从原理到最佳实践

本文深入剖析了NUMA架构在多核服务器中的性能瓶颈原理,并提供了从诊断到调优的完整实战指南。针对数据库、虚拟化等关键场景,详细介绍了如何利用numactl工具和内核参数优化内存分配策略,避免NUMA Swap风暴,从而显著提升应用性能。

jump7的博客 737

python自动交易 缠论_缠论自动交易系统实现了

一、缘起:缠中说禅的伟大,我想你只要上网搜索一下就知道了,他的才气不用我说,我只想说说他的《教你炒股票》系列文章,108篇文章,将他的股票操盘秘籍全部公开给广大的股友了,更有缠友将其理论写成公式,在网上也是广为流传,深受广大缠友们的喜爱。我也是缠中说禅的忠实崇拜者之一,从2008年开始每天都使用缠论来看盘,特别想将缠论写成交易系统,让计算加来帮助我们自动交易,从而减轻我们盯盘的辛劳,可是苦于没有好...

weixin_39970689的博客 4647

J204B接口数据链路的建立

介绍J204B数据链路层的建立方式

QUACK_G的博客 6555

Linux内存管理实战:从UMA到NUMA的架构演进与性能调优

本文深入探讨了Linux内存管理从UMA到NUMA架构的演进,重点分析了NUMA架构下物理内存的非一致性访问对性能的影响。文章提供了从内核参数调整到应用层绑定的实战调优策略,包括使用numactl、numastat等工具进行监控与诊断,帮助中高级运维和性能工程师解决内存访问瓶颈,提升服务器在云计算、大数据等场景下的处理效率。

p1q2r的博客 775

风光储并网对电力系统稳定性影响的仿真研究

本文研究了风光储并网对电力系统稳定性的影响,基于MATLAB/Simulink平台搭建了IEEE 9节点测试系统的风光储并网模型。研究对比了光储、风储和风光储三种并网配置在多种干扰下的稳定性表现。结果表明:光储系统对频率变化最敏感,风储系统具有更强的功率波动适应能力,而风光储联合系统通过互补效应展现出最佳综合稳定性。储能系统在所有配置中均显著改善了频率恢复性能,验证了其在新能源并网中的关键支撑作用。研究为高比例可再生能源电力系统的稳定运行提供了仿真依据和技术参考。

huanghm88的专栏 156

Linux NUMA架构深度解析:从numactl命令到性能调优实战

本文深入解析Linux NUMA架构,从UMA与NUMA的区别入手,揭示多核服务器性能瓶颈的根源。通过numactl、lscpu等命令实战演示如何探测NUMA拓扑、绑定CPU与内存节点,并详细介绍了交错分配、内核参数调优等高级技巧,帮助管理员有效规避跨节点访问和Swap陷阱,提升数据库、Java应用等关键服务的性能。

ee345的博客 208

ESP32 WIFI 智能巡线小车设计与实现(四足 / 四轮通用)

本文设计的 ESP32 WIFI 智能巡线小车,硬件模块化、软件轻量化,兼容四足与四轮两种结构,实现了自动巡线与 WIFI 远程控制双功能。系统成本低、易上手,适合嵌入式初学者学习 WIFI 通信、传感器应用、运动控制等核心知识点,也可在此基础上扩展蓝牙控制、避障、视觉识别等功能。

weixin_42300449的博客 152

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

NUMA架构动画解析:从原理到实战的性能优化指南

在计算机体系结构中,内存访问是影响程序性能的核心因素之一。传统UMA架构下,所有CPU核心通过统一总线访问内存,但随着多核处理器成为主流,这种架构面临严重的带宽瓶颈。为解决此问题,现代服务器普遍采用NUMA架构,其核心原理是将处理器核心与临近内存组成独立节点,实现本地内存访问快、远程访问慢的非对称特性。这一设计对数据库、虚拟化、高性能计算等场景具有重要技术价值,能显著影响内存密集型应用的吞吐与延迟。理解NUMA的内存分配策略、节点距离矩阵与绑定技术,成为优化容器性能、解决Java应用延迟波动的关键。本文通过

cuiji1279的博客 410

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

上一篇: mongodb local数据库的空间初始化好大啊!
下一篇: mongodb replicat internal(一)
cotchte0421
博客等级 码龄12年 5粉丝 110原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值