linux 堆块分配

最新推荐文章于 2024-01-20 22:09:02 发布
最新推荐文章于 2024-01-20 22:09:02 发布
阅读量1.1k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： linux 漏洞溢出
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bme314/article/details/85473122

linux 堆块分配

关于fastbin

我们一般熟悉的堆都是双链表的chunk，但是对于大小为(16 Bytes~ 64 Bytes)的堆块来说则是使用fastbin来进行管理的。
fastbin的堆块结构与常规的chunk是完全一样，除了使用的是单链表。
fastbin
![fastbin]

2.2 Bins
注意：Bin的翻译为箱子，chunk的翻译为块

  • Bin：freelist数据结构，用于保存free chunks。

  • 基于chunk size，bins被划分为以下几种类型：

List item

  • Fast bin（单链表，大小相同）

  • Unsorted bin（环形双链表，乱序状态，空闲 chunk 回归所属 bin 之前的缓冲区）

  • Small bin（环形双链表，大小相同）

  • Large bin（环形双链表，按大小降序排列）

2.2.1 Fast bin

  1. 大小为16 ~ 80 / 32 ~160字节的chunk称为fast chunk；

存储fast chunk的bins称为fast bins；

2.2.3 Small bin

  1. 小于512/1024字节的chunk称为small chunk。

存储small chunk的bins称为small bins；

2.2.4 Large bin

  1. 大小大于等于512字节的chunk称为large chunk；

堆管理

Top Chunk

当一个chunk处于一个arena的最顶部(即最高内存地址处)的时候，就称之为top chunk。该chunk并不属于任何bin，而是在系统当前的所有free chunk(无论那种bin)都无法满足用户请求的内存大小的时候，将此chunk当做一个应急消防员，分配给用户使用。如果top chunk的大小比用户请求的大小要大的话，就将该top chunk分作两部分：1）用户请求的chunk；2）剩余的部分成为新的top chunk。否则，就需要扩展heap或分配新的heap了——在main arena中通过sbrk扩展heap，而在thread arena中通过mmap分配新的heap。

Last Remainder Chunk

当用户请求的是一个small chunk，且该请求无法被small bin、unsorted bin满足的时候，就通过binmaps遍历bin查找最合适的chunk，如果该chunk有剩余部分的话，就将该剩余部分变成一个新的chunk加入到unsorted bin中，另外，再将该新的chunk变成新的last remainder chunk。

在这里插入图片描述

堆利用笔记
在这里插入图片描述

House Of Force

· 可覆写top chunk的size字段
· 存在一次malloc，攻击者控制malloc的size，前两项是为了新分配堆时可得到任意地址。
· 存在另一次malloc，攻击者可以向里面写入数据
· top chunk的地址

House of Spirit

当glibc被free时，glibc在想什么。
· glibc如何确定free是一个真正的chunk？
· 如果我们free(0xdeadbeef)呢？
如果我们需要fake chunk成功进入free list，需要哪些条件？
攻击的本质：
· 能够控制free的参数
· 能够满足free中对chunk的各项检查
· 触发free，使得fake chunk进入list
· 再次malloc得到chunk，相当于弱化版的任意地址写

House of Mind

如果我们能控制指针p以及对应的arena。
Advanced Heap Exp
fastbin attack
更改fastbin的后向指针，从而使堆分配到我们想要的地方，形成任意地址写。
检查——in free
· address < -size && address alignment
· size > MINSIZE(0x20) && multiple of 0x10
· next chunk size
o > MINSIZE
· < system_mem
· chunk size 是否和当前链表匹配
o 可以具有较小的偏移，但fastbin_index (chunksize (victim)) != idx, 0)
fastbin_index是通过移位做到的。
of by one
· 这一个字节将影响到下一个chunk的size字段
· off by one to extend allocated chunk
· off by NULL to shrink free chunk
· 堆溢出的利用可能会用到多个技巧
· 某些漏洞可被转化为堆溢出
· 整数溢出或竞态条件

堆喷
0x0c0c0c0c地址的优越性。
地址低
\x0c\x0c -> OR AL, 0C （NOP-like instruction

glibc malloc

main arena中的内存申请

内存回收

分配顺序

在这里插入图片描述
unsorted bin如果满足，可能会被分割。top_chunk分割采用向后移动top指针的方式。
走到unsorted bin ，fast bin 和small_bin会被合并整合到unsorted_bin
在这里插入图片描述
在这里插入图片描述

Unsorted Bin Attack

任意地址修改为一个较大的值，值不可控。利用unsorted bin链表覆盖实现，伪造的unsorted bin的bk位置在从链表中出来的时候会被修改，但此时链表被破坏了。

Linux内存管理（31）：slab 分配器概述
私房菜
11-09 1135
buddy 系统中分配内存时是以page为单位，在实际运用中很多内存需求是以字节为单位的，若分配一个页面，则会浪费很多的内存空间。早期 Linux 内核实现了以字节为大小的内存块分配机制，这个机制非常类似于 buddy 系统，这个简单的机制虽然减少了内存浪费，但是并不高效。slab 最早实现在操作系统中，以 Sun 公司研究员 Jeff Bonwick 发表的论文为雏形发展而来，现在已经在 Unix 和 类Unix 系统中广泛使用。内存利用率低。
Linux kernel 堆溢出利用方法
蚁景网安学院
10-18 1022
本文还是用一道例题来讲解几种内核堆利用方法，内核堆利用手段比较多，可能会分三期左右写。进行内核堆利用前，可以先了解一下内核堆的基本概念，当然更好去找一些详细的内核堆的基础知识。
C++堆内存分配
unclerunning的博客
03-30 5611
C++堆内存分配C堆内存分配 抽象与分层 如何扩展有效堆内存 brk和sbrk系统调用 如何维护有效堆内存 operator new抽象与分层​ c和c++的内存服务模型与计算机网络里面的协议分层模型有点类似。计算机网络协议大体分为５层：应用层、传输层、网络层、数据链接层和物理层。其中，上层仅仅只需在下层所提供的服务之上构建自己的服务，而不用关心它的下下层所提供的服务。例如，http应用要完成相
堆内存管理在linux上的实现原理
03-09
堆内存管理总结，基于Gnu C lib代码
Linux：堆分配与堆合并
weixin_42072280的博客
04-15 583
部分实例，完整版请看课件
linux堆管理,linux – 堆管理
weixin_30588427的博客
05-12 217
像堆栈一样,堆是一个进程,一个(几乎)纯粹的用户空间.堆管理器使用sbrk系统调用通知操作系统它打算增加所需的内存量.除了将“未知”到“现有,零,从未访问”的页面范围更改之外,这几乎没有什么(这实际上意味着它们仍然不存在,但操作系统假装它们会这样做).首次访问页面时,它会出现故障,并且操作系统会从零池中提取零页面.(它可能稍微复杂一些,因为如果从顶部释放了大量内存,堆管理器也可能缩小数据段,但基本...
linux的堆管理及攻击(ptmalloc)
weixin_45574485的博客
01-25 690
堆基础 堆简介 不同的平台有不同的堆内存管理机制，比如： 管理机制 对应的相关的平台 dlmalloc General purpose allocator ptmalloc2 glibc jemalloc FreeBSD and Firefox tcmalloc Google libumem Solaris 本来linux默认的是dlmalloc，但是由于其不支持多线程管理，后来被支持多线程的ptmalloc2代替了。接下来的内容都是基于ptmalloc机制进行的堆管理和
【LINUX】关于动态内存分配的理解
07-22
- 当有多个指针指向同一块动态分配的内存空间时，只能通过一个指针调用free函数释放内存，重复释放会导致运行时错误。 - 动态内存的指针可以作为函数参数传递，实现跨函数使用。 - realloc函数用于重新分配内存空间...
7. Linux的内存分配
u010933311的博客
08-06 2830
本章讲解了基本的内存管理和内存分配形式，尤其注重讲解了heap区域的特性，以及如何使用malloc(), free()等等，并且介绍了他们和brk()以及sbrk()的关系。
Linux堆内存管理深入分析.pdf
01-10
本文将深入分析 Linux 堆内存管理机制，包括堆内存管理的基本概念、chunk 分配和释放策略、隐式链表技术、binlist 的概念和核心原理等。 1. 堆内存管理简介 堆内存管理是操作系统中最重要的组件之一，它负责管理...
Linux堆管理基础知识（一）
Morphy_Amo的博客
01-06 1871
介绍linux中的堆管理的基本知识
linux堆内存管理
sy4331的博客
11-16 3018
堆内存的使用在linux开发过程中非常普遍，我们有必要了解相关的内存管理方便我们对内存问题的理解和定位。 堆内存结构层次 linux的堆内存管理分为三个层次，分别为分配区area、堆heap和内存块chunk。 area：堆内存最上层即为分配区area。分配区area分为主分配区（main area）和线程分配区（thread area）。 主进程堆空间对应的分配区即为主分配区main area，每个进程仅有一个主分配区，对应我们通常所说的bss段上面堆空间位置。 线程堆空间对应的分配区即为线程分配区
linux heap堆分配
le119126的专栏
10-22 4264
转自：http://www.mamicode.com/info-detail-652351.html heap堆分配在用户层面：malloc函数用于heap内存分配 void* malloc(size_t size); 进程的虚拟内存地址布局：   对用户来说，主要关注的空间是User Space。将User Space放大后，可以
堆的分配参数
yanghw117的博客
07-01 895
1、堆内存分配参数-Xmx –Xms指定最大堆和初始堆内存大小（两个参数设置一样可减少垃圾回收）-Xmx20m –Xms10m：指定最大堆内存20M，初始化堆内存10Mpackage com.thread.study; public class Heap { public static void main(String[] args) { //最大堆内存 System.out.p...
linux堆的内存分配方式,Linux中的内存分配是非阻塞的吗？
weixin_34668160的博客
05-07 126
小编典典在我看来，如果您的干扰应用程序正在使用new / delete(malloc /free)，那么该干扰应用程序将对非循环测试产生更多干扰。但是我不知道您的干扰测试是如何实施的。根据您的回收方式(即，如果您使用pthread互斥锁，上帝禁止)，您的回收代码可能会很慢(gcc原子操作在实现回收时会快40倍)。在至少某些平台上很长时间以来，Malloc一直在意识到线程。使用gcc上的编译器开关来...
堆区分配方法
白话魔法师
12-13 1443
堆区用于手动进行分配内存，这是如何管理的呢？       对于堆区，系统设置一个空闲块队列，初始状态时队列中只有一个连续的空闲块。 作业到达后，以某种策略分配空间。作业撤离时，将释放的空间再次加放空间队列中。 分配策略有几种： 首次满足法，从队列中找到最先满分配空间的内存进行分配。 最佳满足法，从队列中进行搜索，找到刚好或稍大于需要的内存大小，进行分配。 最大满足法，从队列中进
linux线程堆分配,如何在Linux中的相同进程下为线程分配堆栈或内存
weixin_35781147的博客
05-06 262
Linux中当前的“线程”概念是NPTL. NPTL使用clone(),包装sys_clone().为新的’线程’分配堆栈在用户空间(即libc)中处理,而不是在内核(即Linux)中处理.库可以使用选择分配(例如malloc)分配堆栈,然后调用clone()将此地址作为堆栈传递(当然,需要传递分配区域的顶部,因为堆栈在大多数平台上向下增长) ：Unlike fork(2), clone() al...
【Linux 内核源码分析】堆内存管理
C/C++Linux、音视频、DPDK
01-20 1478
与静态分配的栈不同，堆的内存分配不是自动的，需要显式地通过内存分配函数（如malloc、new等）来申请内存空间，并在不使用时通过释放函数（如free、delete等）来释放已分配的内存。在 glibc 中，堆是由多个内存块组成的链表，每个内存块都有一个 heap_info 结构体来描述它所在的堆。堆内存是连续的内存区域：在大多数操作系统中，包括 Linux，堆内存是通过动态内存分配来管理的。堆内存的生长方向是自下而上：在传统的内存布局中，堆内存的生长方向是从低地址向高地址增长。其中一个常用的系统调用是。
linux中堆能分配多大
最新发布
04-11
<think>好的，我现在需要回答用户关于Linux系统中堆内存最大分配限制的问题。首先，我需要回顾一下Linux内存管理的基本知识，并结合用户提供的引用内容来构建答案。 用户提到了堆内存，所以应该从进程的地址空间结构入手。在Linux中，每个进程的虚拟地址空间分为代码段、数据段、堆、栈等部分。堆内存的动态分配通常通过malloc等函数实现，而malloc背后使用的是glibc的内存管理机制，比如ptmalloc。根据引用[1]，glibc将空闲内存分为top chunk和各种bin，这些结构影响内存分配的效率和策略。 接下来，用户想知道堆内存的最大分配限制。这里需要考虑几个因素：系统架构、内核参数、用户空间限制以及物理内存和交换空间的情况。比如，32位系统的地址空间限制是4GB，但用户空间通常只有3GB左右，而64位系统理论上可以支持更大的地址空间。不过，实际分配还受到资源限制（如ulimit）和物理内存加上交换空间的总量限制。 引用[3]中提到一个应用分配3.5GB内存的情况，这可能涉及到glibc的内存分配策略。例如，当请求大块内存时，malloc可能会直接使用mmap来分配，而不是从堆区扩展。这需要解释mmap和brk/sbrk的区别，以及它们对最大分配的影响。此外，用户提到的alloca函数（引用[2]）是在栈上分配内存，这与堆分配不同，但可能对进程整体内存布局有影响，需要注意区分。 还需要考虑内核参数，如overcommit的设置。在Linux中，内存的过度分配可能导致即使malloc返回成功，实际访问时却触发OOM Killer。这会影响实际可分配的内存大小。 最后，要总结影响最大分配限制的因素，并给出如何查看和调整这些限制的方法，如使用ulimit命令或修改/proc/sys/vm中的参数。同时，结合引用中的例子，说明实际应用中可能遇到的问题，比如处理大文件时的内存分配策略优化。 需要确保回答结构清晰，分点说明，并引用提供的资料来支持论点，同时生成相关问题供用户进一步学习。</think>### Linux堆内存最大分配限制 在Linux系统中，堆内存的最大分配限制受多个因素影响，包括系统架构、内核参数、用户空间限制以及物理内存和交换空间的可用性。以下是具体分析： #### 1. **系统架构的地址空间限制** - **32位系统**：进程的虚拟地址空间上限为$4\ \text{GB}$（理论上），但用户空间通常仅能使用约$3\ \text{GB}$，剩余部分保留给内核。 - **64位系统**：虚拟地址空间极大（如$2^{48}$或$2^{64}$字节），实际限制更多取决于物理资源和操作系统配置。 #### 2. **glibc的内存管理机制** - **堆内存分配**：通过`malloc`分配内存时，glibc默认使用`brk`或`sbrk`系统调用扩展堆区。对于大块内存（如超过`MMAP_THRESHOLD`，默认$128\ \text{KB}$），glibc会改用`mmap`直接映射匿名内存页[^1]。 - **top chunk与bin**：如引用[1]所述，glibc通过`top chunk`处理大内存需求。当连续堆空间不足时，`top chunk`会扩展，但受限于进程地址空间剩余部分。 #### 3. **用户空间资源限制** - **`ulimit`配置**：通过`ulimit -v`可设置虚拟内存上限。例如，默认无限制时，单次分配理论上可达地址空间允许的最大值。 - 示例：若设置`ulimit -v 4096000`，则进程总虚拟内存限制为$4\ \text{GB}$。 #### 4. **物理内存与交换空间** - 实际分配受物理内存和交换空间总和限制。例如，系统有$8\ \text{GB}$物理内存和$8\ \text{GB}$交换空间，则最大可能分配约$16\ \text{GB}$（需考虑其他进程占用）。 - **过度提交（Overcommit）**：Linux允许分配超过物理内存+交换空间的内存（通过`/proc/sys/vm/overcommit_memory`控制），但访问时可能触发OOM Killer终止进程[^3]。 #### 5. **实际测试与工具** - **测试单次分配上限**：可通过以下代码尝试分配内存： ```c #include <stdlib.h> int main() { void *ptr = malloc(SIZE); // SIZE为尝试分配的大小 if (!ptr) return 1; free(ptr); return 0; } ``` - **查看进程映射**：使用`/proc/<pid>/maps`文件观察堆和内存映射区域。 #### 6. **优化与规避策略** - 对于超大内存需求（如引用[3]中的$3.5\ \text{GB}$图像处理），建议改用`mmap`直接操作文件映射，或分块处理数据。 - 调整`MMAP_THRESHOLD`：通过`mallopt(M_MMAP_THRESHOLD, size)`可修改glibc的分配策略。 ### 总结 Linux堆内存单次分配的理论上限在64位系统中通常由虚拟地址空间决定，但实际受限于`ulimit`、物理资源及内核策略。若需分配超大内存，应优先考虑`mmap`或优化内存使用模式。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值