读书笔记|《性能之巅》内存部分

最新推荐文章于 2024-10-31 10:58:05 发布

原创最新推荐文章于 2024-10-31 10:58:05 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#测试工具

读书笔记专栏收录该内容

7 篇文章

订阅专栏

本文围绕《性能之巅》一书，探讨了内存分析的基础，包括虚拟内存、换页机制、内存分配与回收、过度提交、交换策略，以及Linux内存管理细节。通过工具和方法介绍，深入剖析内存性能瓶颈和优化技巧，适合系统性能调优者阅读。

《性能之巅》——内存部分读书笔记

序言部分：这本书的整体构架

为建立建立全局的系统观。对系统各个知识理解和实践的能力。
性能问题的发展：分布式系统应用，单机和集群为性能分析带来挑战。
$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-38G8XbXb-1636283450882)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211106232117197.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yix5DLSu-1636283450886)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211106232220253.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NHTAAs6j-1636283450888)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211106232231041.png)]$

内存分析基础

背景

基本术语：主存、虚拟内存、常驻内存、匿名内存、地址空间、段、OOM、页、缺页、换页、交换、交换空间
- 虚拟内存：
  - 可超额订购，多数虚拟内存实现方式是页
  - $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AWYxRaWE-1636283450892)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211106235044745.png)]$
- 换页：出入主存
  - 文件系统换页
    - 由读写位于内存中的映射文件页引发
    - 脏数据——完成更新
    - 干净数据——释放内存以便立即启用
  - 匿名换页（swapping）
    - 涉及私有数据：进程堆、栈
    - 没有文件系统路径
    - 拖尾性能
- 按需换页：
  - 因为缺页，所以要换
  - $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mVCLxIzj-1636283450894)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211107002602774.png)]$
  - 两个术语：
    - $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fbUKY4Ij-1636283450895)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211107002621494.png)]$
- 过度提交：
  - 允许分配超过系统可以存储的内存，超过物理内存和交换的设备的总和。
  - 依赖按需换页，分配的大部分内存不会用
  - malloc（）
- 交换：
  - 主存和物理交换设备或者交换文件移动的整个进程，UNIX独创管理存储技术
  - $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9bDBPYmG-1636283450896)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211107003449948.png)]$
  - linux中主要值换页到交换文件或者设备（匿名换页）
- 文件系统缓存占用
  - 如果有可用的主内存，就有效的使用它
  - 启动时候内存增加，用于提高性能。
- 使用率和饱和度
  - 使用率：已占用的内存/总内存
  - 饱和：超过了存储，用一些手段释放内存
  - 虚拟内存耗尽，内核内存分配就会失败。
- 分配器
  - 当虚拟内存处理多任务物理内存是，在虚拟机地址空间中实际分配和内存堆放通常由分配器处理。
  - 利用线程级别对象缓存等技术提高性能。
- 字长
  - 地址空间受限于字长的寻址空间
  - 更大的字长提升内存性能，取决于CPU的架构
架构
- 硬件
  - 主存
    - 动态随机存取内存（DRAM）易失性
    - 电容模块需要定时更新，保持电荷
    - 读内存的访问取决于内存的类型
    - 延时取决于内存类型
  - 总线
    - 访问方式：共享系统总线、直连、互联
    - 并行多通道增加带宽
    - DDR SDRAM 双倍速率同步动态随机访问存储。
  - CPU缓存
    - L1（指令缓存，数据缓存)——虚拟内存地址空间寻址
    - L2（同时缓存指令和数据）,L3（更大一级缓存）——物理内存地址寻址
  - MMU（内存管理单元）
    - 虚拟到物理地址的转换，
    - 按页转换
  - 多种页大小，solaris支持动态创建更大尺寸（MPSS）
    - linux可以预留超大页，好处是不会出现内存碎片妨碍动态分配，坏处是不够灵活
  - TLB（一般指转译后备缓冲区。转译后备缓冲器）
    - 指令
    - 数据页缓存
    - 映射记录，不同页分单独缓存
- 软件
  - 内存释放
  - 空闲链表：空闲链表能立刻定位可用内存
  - 页扫描：持续循环遍历所有的内存页，找到最少使用的页，然后移动到物理设备。
  - 交换
  - 进程地址空间：一段范围的徐虚拟页，由硬件和软件同事管理，按需映射到物理页。
  - 内存分配器

在这里插入图片描述

方法
- $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tHatQmS2-1636283450903)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211107185609379.png)]$
- 工具法
- USE法
  - [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-idrkLxiV-1636283450905)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211107185758392.png)]
- 使用特征
- 周期分析
  - CPC测定
- 性能检测
  - $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WAA4rlnW-1636283450907)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211107185856415.png)]$
- 发现泄漏
  - $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZMa8iVAH-1636283450908)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211107185907885.png)]$
- 静态性能调优
  - $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JVUyNwp4-1636283450909)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211107185920270.png)]$
- 资源控制:细粒度控制，使主存和虚拟内存达到固定极限
- 微基准测试：确定主存的速度和特征

实际应用

分析
- $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZCsouKzH-1636283450910)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211107190030596.png)]$
调优
- 可调参数：
  - $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T3u7C1oB-1636283450911)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\image-20211107190129700.png)]$