Linux操作系统中内存buffer和cache的区别 && free 参数说明

最新推荐文章于 2024-05-30 09:20:53 发布

转载最新推荐文章于 2024-05-30 09:20:53 发布 · 1.3k 阅读

文章标签：

#cache #buffer #linux #存储 #disk #unix

linux 专栏收录该内容

121 篇文章

订阅专栏

本文深入解析Linux系统中内存使用情况，特别是通过free命令查看物理内存、缓存内存及交换分区的状态，并探讨buffers与cache的区别。

我们一开始，先从Free命令说起。
free 命令相对于top 提供了更简洁的查看系统内存使用情况：
$ free
total used free shared buffers cached

Mem: 255268 238332 16936 0 85540 126384

-/+ buffers/cache: 26408 228860

Swap: 265000 0 265000

Mem：表示物理内存统计
-/+ buffers/cached：表示物理内存的缓存统计
Swap：表示硬盘上交换分区的使用情况，这里我们不去关心。
系统的总物理内存：255268Kb（256M），但系统当前真正可用的内存b并不是第一行free 标记的 16936Kb，它仅代表未被分配的内存。
我们使用total1、used1、free1、used2、free2 等名称来代表上面统计数据的各值，1、2 分别代表第一行和第二行的数据。
total1：表示物理内存总量。
used1：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。
free1：未被分配的内存。
shared1：共享内存，一般系统不会用到，这里也不讨论。
buffers1：系统分配但未被使用的buffers 数量。
cached1：系统分配但未被使用的cache 数量。buffer 与cache 的区别见后面。
used2：实际使用的buffers 与cache 总量，也是实际使用的内存总量。
free2：未被使用的buffers 与cache 和未被分配的内存之和，这就是系统当前实际可用内存。
可以整理出如下等式：

total1 used1 free1 shared1 buffers1 cached1

Mem: 255268 238332 16936 0 85540 126384

used2 free2

-/+ buffers/cache: 26408 228860

Swap: 265000 0 265000
total1 = used1 + free1

total1 = used2 + free2

used1 = buffers1 + cached1 + used2

free2 = buffers1 + cached1 + free1
buffer 与cache 的区别
A buffer is something that has yet to be "written" to disk. A cache is something that has been "read" from the disk and stored for later use.
更详细的解释参考：Difference Between Buffer and Cache
对于共享内存（Shared memory），主要用于在UNIX 环境下不同进程之间共享数据，是进程间通信的一种方法，一般的应用程序不会申请使用共享内存，笔者也没有去验证共享内存对上面等式的影响。如果你有兴趣，请参考：What is Shared Memory?
[b]cache 和 buffer的区别：[/b]
[b]Cache：高速缓存，是位于CPU与主内存间的一种容量较小但速度很高的存储器。[/b]由于CPU的速度远高于主内存，CPU直接从内存中存取数据要等待一定时间周期，Cache中保存着CPU刚用过或循环使用的一部分数据，当CPU再次使用该部分数据时可从Cache中直接调用,这样就减少了CPU的等待时间,提高了系统的效率。Cache又分为一级Cache(L1 Cache)和二级Cache(L2 Cache)，L1 Cache集成在CPU内部，L2 Cache早期一般是焊在主板上,现在也都集成在CPU内部，常见的容量有256KB或512KB L2 Cache。
[b]Buffer：缓冲区，一个用于存储速度不同步的设备或优先级不同的设备之间传输数据的区域。[/b]通过缓冲区，可以使进程之间的相互等待变少，从而使从速度慢的设备读入数据时，速度快的设备的操作进程不发生间断。
Free中的buffer和cache：（它们都是占用内存）：
buffer : 作为buffer cache的内存，是块设备的读写缓冲区
cache: 作为page cache的内存, 文件系统的cache
如果 cache 的值很大，说明cache住的文件数很多。如果频繁访问到的文件都能被cache住，那么磁盘的读IO 必会非常小

buffer更靠近存储设备，或者直接就是disk的缓冲区；
cache则是mem的缓冲区；

~~~~~~~~~~~~~~~~~~~~~~~~~~

因为LINUX的内核机制，一般情况下不需要特意去释放已经使用的cache。这些cache起来的内容可以增加文件以及的读写速度。
先说下free命令怎么看内存
[root@yuyii proc]# free total used free shared buffers cached Mem: 515588 295452 220136 0 2060 64040 -/+ buffers/cache: 229352 286236 Swap: 682720 112 682608

其中第一行用全局角度描述系统使用的内存状况：
total——总物理内存
used——已使用内存，一般情况这个值会比较大，因为这个值包括了cache+应用程序使用的内存
free——完全未被使用的内存
shared——应用程序共享内存
buffers——缓存，主要用于目录方面,inode值等（ls大目录可看到这个值增加）
cached——缓存，用于已打开的文件
note:
total=used+free
used=buffers+cached (maybe add shared also)

第二行描述应用程序的内存使用：
前个值表示-buffers/cache——应用程序使用的内存大小，used减去缓存值
后个值表示+buffers/cache——所有可供应用程序使用的内存大小，free加上缓存值
note:
-buffers/cache=used-buffers-cached
+buffers/cache=free+buffers+cached

第三行表示swap的使用：
used——已使用
free——未使用

cache释放：
To free pagecache:
echo 1 > /proc/sys/vm/drop_caches
To free dentries and inodes:
echo 2 > /proc/sys/vm/drop_caches
To free pagecache, dentries and inodes:
echo 3 > /proc/sys/vm/drop_caches

说明，释放前最好sync一下，防止丢数据。

Linux操作系统中内存buffer和cache的区别 free 参数说明 - zhuzhu - 津津计较

一、free命令
[root@xen_202_12 /]# free -m
             total       used       free     shared    buffers     cached
Mem:          3072       2459        612          0        207       1803
-/+ buffers/cache:        447       2624
Swap:         1913          0       1913

第2行:
total 内存总数: 3072
used 已经使用的内存数: 2459
free 空闲的内存数: 612
shared 当前已经废弃不用，总是0
buffers: Buffer Cache内存数: 13220
cached: Page Cache内存数: 2720160

关系：total = used + free

第3行:
-/+ buffers/cache的意思:
-buffers/cache 的内存数: 447 (等于第1行的 used - buffers - cached)
+buffers/cache 的内存数: 2624 (等于第1行的 free + buffers + cached)
注:此处的内存数在用上面式子计算后，在大小上有一点点出入(还不知道是什么原因)。

可见-buffers/cache反映的是被程序实实在在吃掉的内存，而+buffers/cache反映的是可以挪用的内存总数。

第4行单独针对交换分区。

为了提高磁盘存取效率, Linux做了一些精心的设计, 除了对dentry进行缓存(用于VFS,加速文件路径名到inode的转换), 还采取了两种主要Cache方式：Buffer Cache和Page Cache。前者针对磁盘块的读写，后者针对文件inode的读写。这些Cache有效缩短了 I/O系统调用(如read,write,getdents)的时间。

第2行(mem)的used/free与第3行(-/+ buffers/cache) used/free的区别:
这两个的区别在于使用的角度.第2行是从OS的角度来看，因为对于OS，buffers/cached 都是属于被使用，所以他的可用内存是612MB,已用内存是2059MB,其中包括,内核（OS）使用+Application(X, oracle,etc)使用的+buffers+cached.
第3行所指的是从应用程序角度来看，对于应用程序来说，buffers/cached 是可用的，因为buffer/cached是为了提高文件读取的性能而设，当应用程序要用到内存的时候，buffer/cached会很快地被回收。所以从应用程序的角度来说，可用内存=系统free memory+buffers+cached.

如上例：
2624= 612+207+1803

二、buffers与cached的区别:

buffers是用来给块设备做的缓冲大小，他只记录文件系统的metadata以及 tracking in-flight pages。
cached用来给文件做缓冲。
即：buffers是用来存储目录里面有什么内容，权限等等,而cached用来记忆我们打开的文件.

如果你想知道他是不是真的生效，你可以试一下，先后执行两次命令#man kill ,你就可以明显的感觉到第二次的开打的速度快很多。
实验：在一台没有什么应用的机器上做会看得比较明显。记得实验只能做一次，如果想多做请换一个文件名。
#free
#man kill
#free
#man kill
#free
比较一下free先后显示的buffers的大小。
另一个实验：
#free
#ls /dev
#free
比较一下两个的大小，当然这个buffers随时都在增加，但有ls过的话，增加的速度会变得快，这个就是buffers/chached的区别。

因为Linux会将暂时不使用的内存作为文件和数据缓存，以提高系统性能，当应用程序需要这些内存时，系统会自动释放（不像windows那样，即使你有很多空闲内存,他也要访问一下磁盘中的pagefiles）

内存交换条件及方式:

当可用内存少于额定值的时候，就会开始进行交换.
如何看额定值(RHEL4.0)
#cat /proc/meminfo
交换将通过三个途径来减少系统中使用的物理页面的个数:
1.减少缓冲与页面cache的大小;
2.将系统V类型的内存页面交换出支;
3.换出或者丢弃页面。(Application 占用的内存页，也就是物理内存不足）。
事实上，少量地使用swap是不会影响到系统性能的。