2.3-内存性能-利用系统缓存优化程序运行效率

目录

三、利用系统缓存优化程序运行效率

3.1 缓存命中率

3.1.1 查看缓存命中率的工具 —— cachestat/cachetop

3.2 指定文件的缓存大小 —— pcstat

3.3 案例分析 —— dd

3.4 总结

---

三、利用系统缓存优化程序运行效率

Buffer 和 Cache 可以提升系统的I/O性能，利用内存，充当慢速磁盘与快速CPU之间的桥梁，加速I/O的访问速度。

因此，可以利用缓存的这一特性，来提高程序的运行效率。

3.1 缓存命中率

衡量缓存使用的好坏 —— 缓存命中率

缓存命中率：

是指直接通过缓存获取数据的请求次数，占所有数据请求次数的百分比。命中率越高，表示使用缓存带来的收益越高，应用程序的性能也就越好。

缓存：

所有高并发系统必需的核心模块，主要作用就是把经常访问的数据（也就是热点数据），提前读入到内存中。这样，下次访问时就可以直接从内存读取数据，而不需要经过硬盘，从而加快应用程序的响应速度。

3.1.1 查看缓存命中率的工具 —— cachestat/cachetop

• cachestat
  • 提供整个操作系统的读写命中情况
• cachetop
  • 提供每个进程的缓存命中情况

#安装与部署
git clone --depth 1 https://github.com/brendangregg/perf-tools

cachestat

#1s的时间间隔，输出3组缓存统计数据
perf-tools/bin/cachestat 1 3
Counting cache functions... Output every 1 seconds.
     TOTAL   MISSES     HITS  DIRTIES   BUFFERS_MB  CACHED_MB
       2        0        2        1           17        279
       2        0        2        1           17        279
       2        0        2        1           17        279 

• TOTAL ，表示总的 I/O 次数；

• MISSES ，表示缓存未命中的次数；
• HITS ，表示缓存命中的次数；
• DIRTIES，表示新增到缓存中的脏页数；
• BUFFERS_MB 表示 Buffers 的大小，以 MB 为单位；
• CACHED_MB 表示 Cache 的大小，以 MB 为单位。

cachetop

cachetop
11:58:50 Buffers MB: 258 / Cached MB: 347 / Sort: HITS / Order: ascending
PID      UID      CMD              HITS     MISSES   DIRTIES  READ_HIT%  WRITE_HIT%
13029 root     python                  1        0        0     100.0%       0.0%

• MISSES ，表示缓存未命中的次数；
• HITS ，表示缓存命中的次数；
• DIRTIES，表示新增到缓存中的脏页数；
• READ_HIT,表述读的缓存命中率
• WRITE_HIT，表示写的缓存命中率

3.2 指定文件的缓存大小 —— pcstat

pcstat —— 查看文件在内存中的缓存大小以及缓存比例

#pcstat为go开发工具，需要搭建go语言环境
$ export GOPATH=~/go
$ export PATH=~/go/bin:$PATH
$ go get golang.org/x/sys/unix
$ go get github.com/tobert/pcstat/pcstat

pcstat 查看 /bin/ls 文件的缓存情况

pcstat /bin/ls
+---------+----------------+------------+-----------+---------+
| Name    | Size (bytes)   | Pages      | Cached    | Percent |
|---------+----------------+------------+-----------+---------|
| /bin/ls | 133792         | 33         | 0         | 000.000 |
+---------+----------------+------------+-----------+---------+

3.3 案例分析 —— dd

dd 作为一个磁盘和文件的拷贝工具，经常被拿来测试磁盘或者文件系统的读写性能。

# 生成一个 512MB 的临时文件
$ dd if=/dev/sda1 of=file bs=1M count=512
# 清理缓存
$ echo 3 > /proc/sys/vm/drop_caches

$ pcstat file
+-------+----------------+------------+-----------+---------+
| Name  | Size (bytes)   | Pages      | Cached    | Percent |
|-------+----------------+------------+-----------+---------|
| file  | 536870912      | 131072     | 0         | 000.000 |
+-------+----------------+------------+-----------+---------+

# 每隔 5 秒刷新一次数据
$ cachetop 5

#运行dd测试文件的读取速度
dd if=file of=/dev/null bs=1M
    512+0 records in
    512+0 records out
    536870912 bytes (537 MB, 512 MiB) copied, 16.0509 s, 33.4 MB/s

3.4 总结

1. Buffer 和 Cache 可以极大可能提升系统的I/O性能。通常，我们用缓存命中率，来衡量缓存的使用效率。命中率越高，表示缓存被利用得越充分，应用程序的性能也就越好
2. 观察系统和进程的缓存命中情况：
   1. cachestat 提供整个系统缓存的读写命中情况
   2. cachetop 提供了每个进程的缓存命中情况