Linux内存管理(9)：HugePage

已于 2024-06-06 10:56:56 修改
阅读量472 收藏 1
点赞数
分类专栏： Linux内核/驱动 文章标签： Linux
于 2023-10-23 21:57:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhang_shuaifeng/article/details/134000118
版权
本文介绍了Linux内存管理中的HugePage技术，包括HUGETLBFS和透明巨页(THP)。HUGEPTLFS作为基于内存的文件系统，提供了共享文件、内存文件系统和匿名映射页的使用方式。THP则简化了巨页的使用，通过内核线程khugepaged自动合并常规页。THP有always、madvise和never三种工作模式，可在运行时调整。虽然巨页在交换方面存在挑战，但内核社区正在努力改进。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

        当运行内存需求量较大的应用程序时，如果使用长度为4KB的页，将会产生较多的TLB未命中和缺页异常，严重影响应用程序的性能。如果使用长度为2MB甚至更大的巨型页，可以大幅减少TLB未命中和缺页异常的数量，大幅提高应用程序的性能。这才是内核引入巨型页的真正原因。

巨页文件系统(HUGETLBFS)和透明巨页(Transparent HugePage, THP)

        一个巨页必须是一块连续而且起始地址对齐的内存。具页具体使用方法有二种：巨页文件系统和透明巨页。

巨页文件系统(HUGETLBFS)

        HUGETLBFS是一种基于内存的文件系统，使用时首先需要加入CONFING_HUGETLBFS的配置，然后挂载巨页文件系统(比如挂载到/mnt/huge目录)。其主要有三种用法：

       *用作进程间共享文件：通过shmget()函数带SHM_HUGETLB标志使用。

       *用作内存文件系统：在/mnt/huge目录下创建文件，然后用mmap()函数创建文件映射页。

       *用作匿名映射页：用mmap()函数带MAP_HUGETLB标志映射匿名页即可(因为是匿名页，因此需要同时使用MAP_ANONYMO

了解本专栏 订阅专栏 解锁全文
Linux内存管理（102）：zero page
私房菜
03-02 123
在实际应用程序场景中，经常存在其虚拟内存已经申请，且只对该内存进行读取过，但是从未对该内存进行过写操作，如果针对此场景发生只读page fault时，也为其虚拟内存区域全部申请对应物理内存将会极大浪费内存 因为后面从没有对该内存真正进行写过。当内存先读后写时，会触发两次page fault，先触发读内存page fault 使用zero page刷新对应映射，然后由于写内存会再次触发 page fault才生成新的实际物理内存，相对之前一次触发page fault，消耗可能会增多。
Linux使用巨页内存的方法
太阳升起
04-08 767
经测试，1G巨页内存相对于2M巨页内存的性能提升有限，而且由于内存碎片化，除非重启服务器，否则创建较多的1G巨页内存容易失败，而创建大量2M巨页内存则容易成功。在一个进程申请到巨页内存后，另一个进程使用相同的id可以获得对同一块内存的引用，由此可以实现进程间信息传递。注意，巨页内存似乎是无法在运行时回收的，因此x若小于当前已有的巨页内存页数，该命令不会起作用，直到重启设备后才会生效。这里使用的是共享内存的方式申请的巨页内存，首个申请的进程需要管理员权限，后续申请的进程则不需要。向操作系统申请巨页内存，
Linux 巨型页（HugePages）
不才的专栏
05-05 3436
1. 什么是巨型页 页面是Linux管理内存的基本单位，一般为4KB。如果程序运行时，需要大量的内存，就会产生非常多的TLB未命中和缺页异常，4KB的尺寸显然称为程序的瓶颈。如果直接修改系统默认页面大小，那么系统中其他程序运行时，很可能又会造成内存浪费。所以，Linux引入了巨型页，这种巨型页允许管理远大于4k的大页面，默认是2M,相当于512个普通页面。简而言之，通过启用大页面，系统可以处理更少的页面表，因此访问/维护它们的开销也更少！ 巨型页的应用集中在对内存需求大的领域，比如数据库、虚拟机等系统中
Linux内核页表缓存（TLB）与巨型页
最新发布
m0_74186706的博客
04-06 1331
一、页表缓存（TLB）一、页表缓存（TLB）处理器厂商在内存管理单元 (MMU) 里增加一个 TLB (Translation Lookaside Buffer) 的高速缓存，TLB 直译为转译后备缓冲器，也被翻译为页表缓存。TLB 为 CPU 的一种缓存，由存储器管理单元用于改进虚拟地址到物理地址的转译速度。TLB 用于缓存一部分标签页表条目。TLB 可介于 CPU 和 CPU 缓存之间，或在 CPU 缓存和主存之间，这取决于缓存使用的是物理寻址或是虚拟寻址。1.TLB表项格式。
linux 内核巨页和透明大页
qqxlt的博客
04-01 616
一. 巨页 的使用场景 在 Linux 操作系统上运行内存需求量较大的应用程序时，由于其采用的默认页面大小为 4KB，因而将会产生较多 TLB Miss 和缺页中断，从而大大影响应用程序的性能。当操作系统以 2MB 甚至更大作为分页的单位时，将会大大减少 TLB Miss 和缺页中断的数量，显著提高应用程序的性能。这也正是 Linux 内核引入大页面支持的直接原因。好处是很明显的，假设应用程序需要 2MB 的内存，如果操作系统以 4KB 作为分页的单位，则需要 512 个页面，进而在 TL...
【性能】Linux 页表、透明大页|大页内存|TLB和大页测试工具和指令
小鱼菜鸟的博客
10-04 2320
目录 页表与MMU CPU访问的是什么地址(虚拟地址，物理地址)？ MMU如何工作 MMU对内存的保护 多级页表 一、 内存映射与页表 1. 内存映射 2. 页表 4. 页表的简单工作原理 大页 什么是大内存页huge page? 为什么使用“大内存页”？ 1. 大页的优点 2. 大页的缺点 大内存页适用范围 3. 大页的...
Oracle开启HugePage优化内存管理教程
12-18
内容概要：本文详细介绍了在Linux环境下为Oracle数据库开启HugePage的步骤。通过关闭自动内存管理和调整相关参数，可以有效减轻CPU负担，提升系统性能。具体步骤包括关闭AMM、设置内存参数、配置memlock、计算并设置...
Linux核心技术：HugePage
lsz137105的专栏
09-07 738
本文首发于我的公众号码农之屋（id:Spider1818），专注于干货分享，包含但不限于Java编程、网络技术、Linux内核及实操、容器技术等。欢迎大家关注，二维码文末可以扫。 一、什么是HugePages 直接从物理内存读写数据，要比从磁盘读写要快很多，但是物理内存是有限的，这才有了虚拟内存的概念。虚拟内存是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存（也...
Linux内存管理详解：深入理解内存子系统
[Linux内存管理详解：深入理解内存子系统](https://www.cs.uic.edu/~jbell/CourseNotes/OperatingSystems/images/Chapter9/9_27_BuddySystem.jpg) # 摘要 Linux操作系统作为服务器和桌面环境的主流选择，其内存管理...
linux大页内存使用,大页内存
weixin_29550949的博客
04-30 247
原文链接:http://linux.cloudibee.com/2007/09/linux-hugepages/http://linuxgazette.net/155/krishnakumar.html在看dpdk时官网即提到配置hugepage，配置方法很简单，参照以下文章。简述：配置大页内存是为了从虚拟地址到物理地址映射的速度，默认访问一次物理地址需要2次操作，查页表，访问真实物理地址，通过t...
云原生 | Kubernetes - 管理巨页（HugePages）
Trollz的博客
12-30 1448
Cloud Native | Kubernetes - HugePages
Linux Hugetlbfs内核源码简析-----(一)Hugetlbfs初始化
weixin_30881367的博客
10-30 404
一、引言 　　为了实现虚拟内存管理机制，操作系统对内存实行分页管理。自内存“分页机制”提出之始，内存页面的默认大小便被设置为 4096 字节（4KB），虽然原则上内存页面大小是可配置的，但绝大多数的操作系统实现中仍然采用默认的 4KB 页面。当某些应用的需要使用的内存达到几G、甚至几十G的时候，4KB的内存页面将严重制约程序的性能。 　　CPU缓存中有一组缓存专门用于缓存TLB，但其大小是有限...
Linux下大页HugePages与透明大页Transparent HugePages
rayylee
12-21 6736
Linux下的大页分为两种类型：标准大页（Huge Pages）和透明大页（Transparent Huge Pages）。 Huge Pages有时候也翻译成大页/标准大页/传统大页，它们都是Huge Pages的不同中文翻译名而已，顺带提一 下这个，免得有人被这些名词给混淆、误导了。
共享内存shmget() mmap()以及大页内存的使用问题
qq_42104065的博客
03-14 1981
key shmid owner perms bytes nattch status 0x00000000 5 luois1 600 16777216 2 dest 0x00000333 10 luois1 600 524288 2...
巨型页原理
congchp的博客
04-12 496
当运行内存需求量较大的应用程序时，如果使用长度位4KB的页，将会产生较多的TLB未命中和缺页异常，严重影响应用程序的性能；如果使用长度为2MB甚至更大的巨型页，可以大幅减少TLB未命中和缺页异常的数量，大幅提高应用程序的性能；这正是引入巨型页(Huge Page)的直接原因；巨型页首先需要处理器能够支持，然后需要内核支持；
mount 内核源码_Linux Hugetlbfs内核源码简析-----(二)Hugetlbfs挂载
weixin_36257663的博客
02-07 515
本文只讨论执行"mount none /mnt/huge -t hugetlbfs"命令后，mount系统调用的执行过程(基于Linux-3.4.51)，不涉及进程相关的细节。mount系统调用的内核实现：1 SYSCALL_DEFINE5(mount, char __user *, dev_name, char __user *, dir_name,2 char __user *...
内存管理：巨页HugePage
weixin_71478434的博客
08-26 1884
如果启动"always"，那就是系统默认进行在分配巨页的时候，所需要的内存大于2MiB，将会默认分配巨页，请注意，分配的内存并一定都是巨页，巨页是按照某个配置项设置的"伪对齐"，比如我自己实践的虚拟机，默认2MiB对齐(pmd中间页表项)。传统巨页的实现核心是提前预留巨页内存，但是在通过hugetlbfs分配传统巨页无法满足的时候，系统会从buddy分配物理内存，生成临时巨页，这些巨页因为也是通过hugetlbfs的方式使用，也属于传统巨页。内核完成了这套流程的代码，用户是不可能见的。...
巨页的配置和修改
weixin_48101150的博客
06-11 4222
巨页 背景知识 Linux中把页面作为管理内存的基本单位，一个页面为4KB。如果一个程序在运行过程中会用到很多的内存，那么必然会导致很多的TLB未命中和缺页异常的情况，因为一个页最大只能是4KB所以也就造成了这种问题的发生。如果直接修改默认的页面大小，那么又容易造成内存浪费，显然是不可取的。Linux引入了巨页（Huge page）的概念。允许一个页面的大小超过4KB，默认为2MB。 说到这里其实你也应该知道为什么默认为2MB了。 Linux的采取4级页表管理虚拟地址到物理地址的转换，32位系统中页表项占4
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张帅峰_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值