被吃掉的Linux内存

高缺失率时空数据插补实战:从随机森林到扩散模型的性能对比 数据缺失是数据分析与机器学习建模中普遍面临的挑战,尤其在时空数据领域,传感器故障、传输中断等问题常导致数据不完整。数据插补技术旨在基于已知数据的模式和关联性,合理估算缺失值,为后续分析提供可靠基础。其核心原理在于利用数据的时空相关性(如时间周期性、空间邻近性)及与外部驱动因素(如交通、气象)的关联构建预测模型。这项技术的价值在于能将不完整的数据集转化为可用于高质量分析和预测的可用资产,广泛应用于环境监测、交通流量预测、金融风控等领域。本文聚焦于一个极具挑战性的场景——PM2.5监测数据缺失率高达82%,通过 阅读详情

在Windows下资源管理器查看内存使用的情况,如果使用率达到80%以上,再运行大程序就能感觉到系统不流畅了,因为在内存紧缺的情况下使用交换分区,频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查看Linux系统内存使用情况时,会发现内存使用一直处于较高的水平,即使此时系统并没有运行多少软件。

这正是Windows和Linux在内存管理上的区别,乍一看,Linux系统吃掉我们的内存(Linux ate my ram),但其实这也正是其内存管理的特点。

free命令介绍

下面为使用free命令查看我们实验室文件服务器内存得到的结果,-m选项表示使用MB为单位:

输出的第二行表示系统内存的使用情况:

Mem: total(总量)= 3920MB,

used(已使用)= 1938MB,

free(空闲)= 1982MB,

shared(共享内存)= 0MB,

buffers = 497MB,

cached = 1235MB

注:前面四项都比较好理解,buffer 和 cache找不到合适的词来翻译,它们的区别在于:

  • A buffer is something that has yet to be “written” to disk.
  • A cache is something that has been “read” from the disk and stored for later use.

即buffer用于存放要输出到磁盘的数据,而cache是从磁盘读出存放到内存中待今后使用的数据。它们的引入均是为了提供IO的性能。

输出的第三行表示在第二行的基础上-/+ buffers/cache得到的:

– buffers/cache used = Mem used – buffers – cached = 1938MB – 497MB – 1235MB = 205MB

+ buffers/cache free = Mem free + buffers + cached = 1982MB + 497MB + 1235MB = 3714MB

输出的第三行表示交换分区使用的情况:

Swap:total(总量)= 4095MB

used(使用)= 0MB

free(空闲)= 4095MB

由于系统当前内存还比较充足,并未使用到交换分区。

上面输出的结果比较难理解的可能是第三行,为什么要向用户展示这行数据呢?内存使用量减去系统buffer/cached的内存表示何意呢?系统空闲内存加上buffer/cached的内存又表示何意?

内存的分类

我们把内存分为三类,从用户和操作系统的角度对其使用情况有不同的称呼:

Memory that isYou’d call itLinux calls it
taken by applicationsUsedUsed
available for applications, and used for somethingFreeUsed
not used for anythingFreeFree

上表中something代表的正是free命令中”buffers/cached”的内存,由于这块内存从操作系统的角度确实被使用,但如果用户要使用,这块内存是可以很快被回收被用户程序使用,因此从用户角度这块内存应划为空闲状态。

再次回到free命令输出的结果,第三行输出的结果应该就能理解了,这行的数字表示从用户角度看系统内存的使用情况。因此,如果你用top或者free命令查看系统的内存还剩多少,其实你应该将空闲内存加上buffer/cached的内存,那才是实际系统空闲的内存。

buffers/cached好处

Linux 内存管理做了很多精心的设计,除了对dentry进行缓存(用于VFS,加速文件路径名到inode的转换),还采取了两种主要Cache方式:Buffer Cache和Page Cache,目的就是为了提升磁盘IO的性能。从低速的块设备上读取数据会暂时保存在内存中,即使数据在当时已经不再需要了,但在应用程序下一次访问该数据时,它可以从内存中直接读取,从而绕开低速的块设备,从而提高系统的整体性能。

而Linux会充分利用这些空闲的内存,设计思想是内存空闲还不如拿来多缓存一些数据,等下次程序再次访问这些数据速度就快了,而如果程序要使用内存而系统中内存又不足时,这时不是使用交换分区,而是快速回收部分缓存,将它们留给用户程序使用。

因此,可以看出,buffers/cached真是百益而无一害,真正的坏处可能让用户产生一种错觉——Linux耗内存!

其实不然,Linux并没有吃掉你的内存,只要还未使用到交换分区,你的内存所剩无几时,你应该感到庆幸,因为Linux缓存了大量的数据,也许下一次你就从中受益。

实验证明

下面通过实验来验证上面的结论:

我们先后读入一个大文件,比较两次读入的实践:

1.首先生成一个1G的大文件

2.清空缓存

3.读入这个文件,测试消耗的时间

4.再次读入该文件,测试消耗的时间

从上面看出,第一次读这个1G的文件大约耗时18s,而第二次再次读的时候,只耗时0.3s,足足提升60倍!


MFC实现键盘钩子(附完整源码) 阅读详情

相关推荐

招财牛猫|股社区|猫笔刀公众号历史文章13-21年(含评论),投资内容 收藏学习

招财大牛猫|股社区|猫笔刀公主号历史文章13-21年(含评论)

ZhaoCaiDaNiuMao的博客 7242

Linux 磁盘空间被吃掉了,如何排查

Linux 磁盘空间被吃掉了? Linux就该这么学5天前 收录于话题#linux26个内容 转自公众号运维研习社 在服务器运维过程中,我们时常会遇到这样的情况,收到服务器磁盘空间告警 登录服务器,通过df -Hl查看 和告警信息一致,接着我们就是要找到导致磁盘空间满的目录或文件 如何找到占用空间大的目录或文件? 一种比较笨的方法是,在根目录下,通过du -hs命令,列出各目录所占空间大小 之后再用同样的方法继续到对应目录下去找 再相对高效一点的方法是通过du的.

wzlsunice88的博客 845

VirtualLab初学者教程-1.用户界面

目录前言一、VirtualLab Fusion简介1.软件2.内置工具箱:二、用户界面认识1.上方菜单栏2.右侧面主窗口3.底部窗口附 前言 感觉做VirtualLab的资料不是特别多,可能用的朋友也比较少吧,笔者最近也因为大创需要刚刚开始入门,把网上有的英文资料整理了一下,加了一点自己的内容发出来希望帮助更多在学习中的朋友,有用词不当之处还请多多包涵。 一、VirtualLab Fusion简介 因为是第一讲,简单啰嗦一下软件本身,参考官方介绍。 1.软件 VirtualLab是由德国LightTran

ClaireTang1的博客 2万+

linux中文件内容太多,屏幕不能一下全部显示出来,怎样查看被掩盖的上部分的内容

命令后面用more命令:your_command | more

小妖666个人笔记 2万+

保姆级教程:手把手教你从ENSEMBL官网下载GRCh38/GRCh37的GTF注释文件(附网址规律总结)

本文提供从ENSEMBL官网下载GRCh38/GRCh37的GTF注释文件的详细教程,包括路径解析、版本号确定和下载命令示例。特别解析了GRCh37的特殊存储结构,并分享批量下载、文件校验等高级技巧,帮助生物信息学研究者高效获取基因组注释文件。

weixin_29289821的博客 205

医学图像处理(一)使用U-Net进行MRI的肝脏分割

医学图像处理(一)使用U-Net进行MRI的肝脏分割数据集搜集训练集和测试集划分问题一: 测试集不包括GroundTruth问题二:T1和T2的数据能一起训练吗?问题三: T1的图像在文件夹中分成了InPhase和OutPhase,这个有什么区别?分离出肝脏将dicom文件转换为png格式数据增强U-net网络搭建自定义DatasetMain.py实验结果总结 图像分割小白一枚,之前接到一个MRI图像肝脏分割的任务。对于医学图像分割,第一想到的就是Unet. Unet在2015的MICCAI上首次提出,在医

qq_34003876的博客 2万+

Linux执行命令后,如何查看界面掩盖部分的信息

当在Linux命令行界面执行相关命令后,由于获得的信息太多,界面只能看到最后一部分的内容,这时该怎么查看被掩盖部分的内容? 用 |

wutian90的博客 3399

解决RocketMQ中@Bean配置DefaultMQProducer时的MQClientException问题

本文针对Spring Boot整合RocketMQ时,因在@Bean配置中手动调用DefaultMQProducer的start()方法而引发的MQClientException问题,深入剖析了其根本原因在于生命周期管理冲突。文章提供了简洁有效的解决方案——移除手动启动,让Spring容器自动管理,并给出了完整的配置示例与生产环境最佳实践。

rnn9storyteller的博客 690

Linux 吃掉我的内存

在Windows下资源管理器查看内存使用的情况,如果使用率达到80%以上,再运行大程序就能感觉到系统不流畅了,因为在内存紧缺的情况下使用交换分区,频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查看Linux系统内存使用情况时,会 发现内存使用一直处于较高的水平,即使此时系统并没有运行多少软件。这正是Windows和Linux在内存管理上的区别,乍一看,Linux系统吃掉我

付之一笑的专栏 1156

STM32H743IIT6上LVGL移植实战:从零到触摸屏驱动的完整配置流程

本文详细记录了在STM32H743IIT6高性能MCU上,从零开始移植LVGL图形库到7寸RGB触摸屏的完整实战流程。内容涵盖工程搭建、显示与触摸驱动配置、LVGL核心优化及常见问题排查,重点讲解了如何利用STM32H743的硬件特性(如DMA2D、LTDC)提升GUI性能,为嵌入式GUI开发提供了一份详实的配置指南。

spark7igniter的博客 563

GB28181协议实战:5分钟搞定海康摄像头SIP注册失败问题(附Wireshark抓包分析)

本文详细解析了海康摄像头在GB28181协议下SIP注册失败的7个关键原因及解决方案,包括网络可达性、鉴权参数、NAT穿越等核心问题。通过Wireshark抓包分析,提供快速定位方法,帮助工程师高效解决SIP注册失败问题,提升实时图像联调效率。

weixin_29212867的博客 559

谁动了我的内存 linux,Linux吃掉我的内存

原标题:Linux吃掉我的内存在Windows下资源管理器查看内存使用的情况,如果使用率达到80%以上,再运行大程序就能感觉到系统不流畅了,因为在内存紧缺的情况下使用交换分区,频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查看Linux系统内存使用情况时,会 发现内存使用一直处于较高的水平,即使此时系统并没有运行多少软件。这正是Windows和Linux在内存管理上的区别...

weixin_36328790的博客 233

Java的API帮助文档

JDK帮助文档 SUN公司为JDK工具包提供了一整套文档资料,我们习惯上称之为JDK文档。 JDK文档中提供了Java中的各种技术的详细资料,以及JDK中提供的各种类的帮助说明。 JDk文档是Java语言的完整说明,大多数书籍中的类的介绍都要参照它来完成,它是编程者经常查阅的资料 如何理解API:就当做是一个“字典”,“使用手册”,API就相当于是一个电子的帮助文档,可以帮我们查看JDK提供的类的信息,平时查看的时候可结合百度一起看。 官网下载: 1、登录Oracle官网(Oracl.

人生得意须尽欢 2万+

Linux吃掉我的内存

在Windows下资源管理器查看内存使用的情况,如果使用率达到80%以上,再运行大程序就能感觉到系统不流畅了,因为在内存紧缺的情况下使用交换分区,频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查看Linux系统内存使用情况时,会发现内存使用一直处于较高的水平,即使此时系统并没有运行多少软件。这正是Windows和Linux在内存管理上的区别,乍一看,Linux系统吃掉我们

海风林影 1883

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

[译] Linux吃掉了我的内存

文章目录 发生了什么?为什么这么做?如果我想运行更多的应用该怎么办?我需要更多的交换分区(swap)吗?我如何让Linux停止这样做?如果不是这样,为什么top和free命令说我所有的内存已被使用?我怎么看我真正还有多少可用内存?什么时候我该开始担心?我如何验证这些? 英文原文:https://www.linuxatemyram.com/ 作者:Vidar Holen 译者:thi...

Data & Analysis 442

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

linux 项目内存吃掉,Linux内存被吃掉了,它去哪里了?

Free4.再次读入该文件,测试消费的时光在Windows下资本治理器查看内存应用的情况,如不雅应用率达到80%以上,再运行大年夜法度榜样就能感到到体系不流畅了,因为在内存紧缺的情况下应用交换分区,频繁地大年夜磁盘上换入换出页会极大年夜地影响体系的机能。而当我们应用free敕令查看Linux体系内存应用情况时,会发明内存应用一向处于较高的程度,即使此时体系并没有运行若干软件。free敕令介绍下面为...

weixin_42361611的博客 248

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Linux内存被吃掉了,它去哪里了?

在Windows下资源管理器查看内存使用的情况,如果使用率达到80%以上,再运行大程序就能感觉到系统不流畅了,因为在内存紧缺的情况下使用交换分区,频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查看Linux系统内存使用情况时,会发现内存使用一直处于较高的水平,即使此时系统并没有运行多少软件。这正是Windows和Linux在内存管理上的区别,乍一看,Linux系统吃掉我们...

click_idc的博客 4860

啊,Linux 吃掉了我的内存!

点击上方“杰哥的IT之旅”,选择“置顶公众号”干货、福利第一时间送达!作者丨海林(@海风林影 )http://www.cnblogs.com/hazir/p/linux_...

JackTian 371

linux 导出内存,来一起看看Linux系统到底是如何吃掉内存的呢

概述在Windows下资源办理器查看内存运用的情况,假设运用率到达80%以上,再工作大程序就能感觉到系统不流通了,因为在内存紧缺的情况下运用沟通分区,一再地从磁盘上换入换出页会极大地影响系统的功用。而当我们运用free指令查看Linux系统内存运用情况时,会发现内存运用一贯处于较高的水平,即便此时系统并没有工作多少软件。这正是Windows和Linux在内存办理上的差异,乍一看,Linux系统吃掉...

weixin_39942995的博客 395

救命,Linux正在吃掉我的内存!

内存发现自己的空闲空间越来越少,经过一番调查,发现罪魁祸首居然是Linux老大!内存:Linux老大,这也没几个程序在运行,可是你为什么老是占用我的内存啊,内存都快被你吃光了!Linux...

码农翻身 727

Linux吃掉了我的内存的恐慌是怎么回事

目录 发生了什么? 为什么这么做? 如果我想运行更多的应用该怎么办? 我需要更多的交换分区(swap)吗? 我如何让Linux停止这样做? 如果不是这样,为什么top和free命令说我所有的内存已被使用? 我怎么看我真正还有多少可用内存? 什么时候我该开始担心? 我如何验证这些? 英文原文:https://www.linuxatemyram.com/ 作者:Vi...

纸上得来终觉浅,绝知此事要躬行 758

LINUX 吃掉了我的内存!

别慌! 你的内存很正常! 发生了什么? Linux正在借用未使用的内存用来作为磁盘缓存。这会使得你的可用内存看起来会很少,但其实不是的,一切都很好! 为什么这样做? 磁盘缓存会让linux系统运行的更快,响应更积极!除了让初学者感到困惑外,这样做,没什么缺点!它不会以任何形式占用应用程序的内存! 如果我想运行更多的应用程序呢? 如果你的应用程序想要更多的内存,它们只需要从借出的磁盘缓存中取回可用的数据块即可。磁盘缓存 能立即还回内存给应用程序,你的内存并不低! 我需要更多的swap内存吗? 不,磁盘缓存仅.

djc11282的专栏 371
上一篇: 几条判断Linux服务器是否被入侵的技巧
下一篇: 命令行版谷歌翻译:Translate Shell
linuxprobe2017
博客等级 码龄10年 123粉丝 294原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值