工作中碰到的memory footprint很高的问题

最新推荐文章于 2025-11-27 00:58:38 发布
原创 最新推荐文章于 2025-11-27 00:58:38 发布 · 3.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#工作 #profiling #语言 #linux #工具

本文介绍了一次使用Valgrind Massif工具定位并解决Linux环境下某应用程序内存消耗过高问题的经历。通过分析源代码发现难以直接定位问题所在，因此采用Valgrind工具进行内存剖析。

(Linux 环境) 这些天再处理一个customer issue，其原因是在customer box上，某个request/response consume 了过多的memory，最后导致系统重启。对这个问题的triage，首先得找出那些部分有过多的内存分配(所用语言不是C/C++，该语言自动内存管理，垃圾回收)。为了找到memory consumption高的地方，单靠分析源代码，实在有限。现在正在借助valgrind massif tool对memory进行profiling。此工具实在强大，希望能够得到我想要的结果。有结果了再update这篇文章。Stay tune！


参考链接：

http://valgrind.org/docs/manual/ms-manual.htm


CPP_CHEN
关注
Large Memory Footprints on AIX
weixin_34055787的博客
03-18 104
Connor Mcdonald-一位Oracle极客为我们分享了一个AIX平台上11g独享服务进程内存占用过量的问题，该问题最后被确认为Bug”11G SERVER PROCESSES CONSUMING MUCH MORE MEMORY THAT 10G OR 9I”，相关文档如下:Memory Footprint For Dedicated Server Processe...
Memory footprint of the JVM
hknaruto的专栏
08-02 1307
The JVM can be a complex beast. Thankfully, much of that complexity is under the hood, and we as application developers and deployers often don’t have to worry about it too much. With the rise of cont...
Ant Design Landing状态管理新趋势：Jotai与Zustand
最新发布
gitblog_00794的博客
11-27 540
Ant Design Landing作为Ant Design生态系统中专业的登录页设计系统，正在经历状态管理架构的现代化升级。这个强大的设计系统为开发者提供了丰富的模板组件，帮助快速构建专业的登录页面。在传统Redux架构的基础上，现代状态管理方案Jotai和Zustand为Ant Design Landing带来了更简洁、更高效的开发体验。 ## 🔥 为什么需要现代状态管理方案 在当前的A
Redis内存footprint
杨春建的博客
09-24 768
原文地址：http://redis.io/topics/faq What's the Redis memory footprint? To give you a few examples (all obtained using 64-bit instances): An empty instance uses ~ 1MB of memory.1 Million small
深入解析iOS内存 WWDC2018 iOS Memory Deep Dive
gcs的博客
12-31 1520
1. Why Reduce Memory? 为什么要减少内存(占用)？ 为了更好的用户体验 内存是有限且系统共享的资源，一个程序占用更多，系统和其他程序所能用的就更少。程序启动前都需要先加载到内存中，并且在程序运行过程中的数据操作也需要占用一定的内存资源。减少内存占用也能同时减少其对 CPU 时间维度上的消耗，从而使不仅你所开发的 App，其他 App 以及整个系统也都能表现的更好。 2. Memory Footprint 我们需要明确的是，这里的减少内存指减少 iOS App 的内存(mem
计算机常用术语集
cjb_buaa的专栏
04-29 2623
早晨醒来，眼睛还没睁开就被室友问的一个词汇难住了：“footprint是什么含义（在计算机专业中）”，我随口回答：“就是芯片引脚的意思吧”，他说不对，那是“footpin”。为此我们上网查了一下，发现"footprint"解释为“内存印迹”的比较多。目前国内在专业术语翻译方面没有一个统一的标准，大家都按照自己的喜好翻，给我们带来了很大的不便，希望国家能出台有关标准，统一一下：）以下潘老师关于一
iOS Memory 内存详解
Desgard_Duan
06-29 2515
0. 前言本文以 iOS Memory 的相关内容作为主题，主要从一般操作系统的内存管理、iOS 系统内存、app 内存管理等三个层面进行了介绍，主要内容的目录如下：iOS 是基于 BS...
Error: memory allocation request failed *** Allocation request: 65544 bytes Current footprint: 48141 MB Current callstack: 1) ABQSMABasAlloc.dll mem_OperatorNewThrow 2) ABQSMAAbuBasicUtils.dll unknown *** Error: ABQcaeG.exe / rank 0 / thread 0 encountered an unhandled exception *** ERROR CATEGORY: ABQcaeG *** ABAQUS/ABQcaeK rank 0 received the ABORT signal *** ERROR CATEGORY: CAE Abaqus Error: Abaqus/CAE Kernel exited with an error.
07-09
由于用户错误信息中提到了65544 bytes，这个数字很小，通常不是系统内存不足，而可能是软件内部内存管理问题。因此，我们重点调整Abaqus的内存设置。 步骤： 1. 找到Abaqus的配置文件（abaqus_v6.env），通常...
.Net线程池ThreadPool导致内存高的问题分析
weixin_30835933的博客
12-01 536
最近写了一个WinFrom程序。此程序侦听TCP端口，接受消息处理，然后再把处理后的消息，利用线程池通过WebService发送出去（即一进一出）。 在程序编写完成后，进行压力测试。用Fiddler提交1万请求。 ThreadPool.QueueUserWorkItem((o) => { ...
Matlab中Navier-Stokes方程求解常见问题诊断与解决
本文旨在系统地介绍Navier-Stokes方程的基础知识及其在流体力学中的重要性，并通过Matlab这一强大的数学软件展示求解该方程的理论和实践操作。文章首先回顾了Navier-Stokes方程的历史背景、物理意
【模型精调LoRA】LoRA 低秩适应微调的工作原理和代码实现示例 What is LoRA? Low-Rank Adaptation for finetuning LLMs EXPLAINED
AI天才研究院
03-11 1816
LoRA 是一种有效的大模型微调技术，可以提高推理效率并保持良好的性能。LoRA 在许多下游任务中都取得了良好的效果，包括文本分类、机器翻译和问答。
语义分割算法Mask RCNN论文解读
qq_32172681的博客
08-19 3989
论文名称：Mask R-CNN 论文地址：https://arxiv.org/abs/1703.06870 代码地址：https://github.com/matterport/Mask_RCNN summary： object detection + semantic segmentation = instance segmentation maskedrcnn achieve...
Dependency Properties
a859501的博客
08-26 250
Dependency Properties Introduction Value resolution strategy The magic behind it How to create a DepdencyProperty Readonly DependencyProperties Attached DependencyProperties Listen to dependency ...
linux内存footprint,Linux内存管理介绍
weixin_33561350的博客
05-01 902
linux内存管理概述内存管理的目标：提供一种方法，在各种目的各个用户之间实现内存共享，应该实现以下两个功能：1、最小化管理内存的时间，内存申请和释放响应时间短2、最优化用于一般应用的可用内存，内存管理(算法)所占用的内存少，浪费的内存少(内存碎片少)下图为内存分配器的关系：1、kmalloc用于分配一块以字节数为单位的内存，所分配的内存物理地址是连续的void *kmalloc(size_t s...
GCView属性含义
chy2z的专栏
08-28 953
GCView线条图解 Summary - Footprint: o Maximal amount of memory allocated 分配的最大内存 - Freed Memory: o Total amount of memory that has been freed 已经被释放的总的内存 - Freed Mem/Min: o Amount ...
iOS 内存管理研究
weixin_34268169的博客
11-14 430
iPhone 作为一个移动设备，其计算和内存资源通常是非常有限的，而许多用户对应用的性能却很敏感，卡顿、应用回到前台丢失状态、甚至 OOM 闪退，这就给了 iOS 工程师一个很大的挑战。 网上的绝大多数关于 iOS 内存管理的文章，大多是围绕 ARC/MRC、循环引用的原理或者是如何找寻内存泄漏来展开的，而这些内容更准确的说应该是 ObjC 或者 Swift 的内存管理，是语言层面带来的特性，而不...
文件系统类型汇总
AttaGain的专栏
09-14 6578
 The following lists identify, characterize, and link to more thorough information on computer file systems. Many older operating systems support only their one "native" file system, which
jvm参数
zyz611的博客
04-11 539
对于JVM的内存写过的文章已经有点多了，而且有点烂了，不过说那么多大多数在解决OOM的情况，于此，本文就只阐述这个内容，携带一些分析和理解和部分扩展内容，也就是JVM宕机中的一些问题，OK，下面说下OOM的常见情况： 第一类内存溢出，也是大家认为最多，第一反应认为是的内存溢出，就是堆栈溢出： 那什么样的情况就是堆栈溢出呢？当你看到下面的关键字的时候它就是堆栈溢出了： j...
Please use a different host with higher memory footprint.
01-22
### 寻找具备更大内存容量的主机 当考虑寻找具有更高内存容量的不同主机时，可以利用CXL（Compute Express Link）技术来扩展系统的内存能力[^1]。通过采用支持CXL标准的新一代服务器平台，能够连接多种类型的存储器设备到单一系统上，并依据需求分配这些资源。 对于具体操作而言，在Linux环境中可以通过`atop`工具监控并分析现有硬件性能指标以及资源利用率情况[^2]。这有助于评估当前环境是否满足业务需求或是确实需要迁移至配备更多RAM的工作站或服务器节点。 为了实现这一目标，建议采取如下Python脚本作为示例框架来进行自动化检测与报告： ```python import os from subprocess import check_output def get_memory_info(): meminfo = {} with open("/proc/meminfo") as f: for line in f: key, value, unit = line.strip().split() meminfo[key[:-1]] = int(value) total_memory_gb = round(meminfo['MemTotal'] / 1024**2, 2) return total_memory_gb current_host_memory = get_memory_info() if current_host_memory < desired_minimum_memory_in_gb: # 假设desired_minimum_memory_in_gb是你期望达到的最小内存量 print(f"Current host does not meet the requirement. Memory size is {current_host_memory} GB.") else: print(f"The current host meets requirements with {current_host_memory} GB of RAM.") # 这里可以根据实际情况编写逻辑去查找其他符合条件的主机... ``` 此代码片段展示了如何读取 `/proc/meminfo` 文件中的数据以获取总物理内存大小，并将其转换为GB单位以便于比较。如果发现现有的机器不符合所需的最低阈值，则提示用户该主机不达标；反之则说明其符合预期条件。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值