浅析基于glibc的malloc

最新推荐文章于 2023-12-10 16:37:10 发布
原创 最新推荐文章于 2023-12-10 16:37:10 发布 · 3.8k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文主要介绍了Linux/glibc下的malloc实现，包括malloc和free的提供者、操作系统内存管理策略、以及glibc中ptmalloc的chunk管理和bins结构。malloc通过sbrk或mmap分配虚拟内存，并通过chunk管理内存，避免频繁的系统调用，减少内存碎片。

最近看了几个malloc和free的问题，总结一下。

malloc和free由谁提供？

一般来讲，它们是C Standard Library提供的而不是由操作系统的内核实现。例如微软的是msvcrt，Linux下是glibc。当然也有第三方库函数，比如jemalloc、tcmalloc。所以每个malloc和free的实现都有所不同，而且这些实现和内核之间是保留有一定自由度的。比如每次malloc是多大空间，每次free之后又归还多少给OS，都是依据不同实现而定的。本文malloc/free的讨论都是基于Linux/glibc的。

操作系统中的内存管理

在操作系统的课程中讲到过空闲内存管理的策略，一种方式是使用位图，用一个bit代表固定大小的一片内存区域(比如4B)，0表示未分配，1表示已分配。这种方法存在一些问题：

  • 每次只能分配区块大小的整数倍的空间，如果申请空间不是整数倍，其中有部分被浪费。
  • 每个区块的大小该如何定义？过大的话浪费过多，过小的话位图表太大。
  • 每次
最低0.47元/天 解锁文章

200万优质内容无限畅学
glibc中的malloc
sinat_41619762的博客
09-04 1238
glibc的malloc使用的是ptmalloc分配器。 使用chunk来管理内存单元 .ptmalloc通过chunk的数据结构来组织每个内存单元。当我们使用malloc分配得到一块内存的时候，这块内存就会通过chunk的形式被记录到glibc上并且管理起来。 上图是被分配的chunk。用户获得的指针是mem指针。所以实际上使用的内存大于用户申请的内存。 上图是未分配的chunk。未分配的chunk都串联在bins数组中。 bins数组 ptmalloc一共维护了128bin。每个bins都维护了大小相
glibc下malloc的理解
MIThebut的专栏
09-12 4124
glibc下malloc的浅析
glibc中malloc的详细解释
技术资料库
04-27 1万+
glibc中的malloc实现:The main properties of the algorithms are:* For large (>= 512 bytes) requests, it is a pure best-fit allocator,    with ties normally decided via FIFO (i.e. least recently used).* Fo
glibc的malloc--更多的改进
TCP/IP
02-09 5301
前面说过glibc实现了malloc，它实现linux系统的堆管理，在linux中没有专有的所谓的API，所有的调用几乎都以c库为根本，因此glibc显得尤为重要，glibc的实现抛开自己的独特策略不说它和windows的实现是一样的，都是维护一个全局的链表，然后每一个链表元素由固定大小内存块或者不固定大小的内存块组成，和windows不同的是，glibc维护了不止一个不定长的内存块链表，而是好几
c++ malloc能给string_分析 Glibc 中的malloc/free 实现
weixin_39657521的博客
11-28 576
本文使用 Zhihu On VSCode 创作并发布malloc 和 free 内部依赖的是GNU Allocator, 也叫Doug Lea的Allocator: http://gee.cs.oswego.edu/dl/html/malloc.html。这篇分析会主要注意Allocator是怎么管理内存的。它就像操作系统和用户中间的一层，扮演了一个内存池的角色。本篇源码分析主要基于github上...
Glibc 中malloc的实现
Efren_Yang的专栏
07-02 1900
本文转自：http://blog.youkuaiyun.com/phenics/article/details/7770531 前言C语言提供了动态内存管理功能, 在C语言中, 程序员可以使用 malloc() 和 free() 函数显式的分配和释放内存. 关于 malloc() 和free() 函数, C语言标准只是规定了它们需要实现的功能, 而没有对实现方式有什么限制, 这多少让那些追根究底的人感到有些许迷
理解 glibc malloc
zsj2102的专栏
03-27 448
理解 glibc malloc堆内存是一个很有意思的领域，这样的问题： 堆内存是如何从内核中分配的？ 内存管理效率怎样？ 它是由内核、库函数，还是应用本身管理的？ 堆内存可以开发吗？我也困惑了很久，但是直到最近我才有时间去了解它。下面就让我来谈谈我的研究成果。开源社区提供了很多现成的内存分配器(memory allocators )：dlmalloc – General purpos...
glibc中malloc()的空间overhead
莫问收获，但问耕耘
05-23 497
在linux下调用malloc()分配内存的时候，实际占用的内存与请求的内存尺寸的关系是什么呢，这个需要研究一下glibc中malloc()的实现。现在常见linux发行版中带的glibc中采用的都是Doug Lea的实现，下面的分析取自他的2.8.4版本的malloc.c。 glibc对内存的管理是以chunk为单位的，未分配的chunk之间用双向链表连接成一个环，遍历的时候用指针遍历，已分配的chunk在其首部有chunk的大小，并以此字节数做遍历。每个chunk的首部要放置一个叫做malloc_ch
malloc源码分析glibc库
06-22
glibc内存管理ptmalloc源代码分析4.pdf
Glibc之malloc实现原理
Aen_hen的博客
12-10 1399
详细了解这部分知识，再看下面的内容会很舒服。
glibc的Malloc内存分配函数
ZHANGJNWEI的专栏
07-07 719
One Heap to malloc them all, One Heap to free them, One Heap tocoalesce, and in the memory bind them... Overview of Malloc The GNU C library's (glibc's) malloc library contains a handful offunctions that manage allocated memory in the application's ...
glibc下malloc与free的实现原理（二）：malloc函数的实现
weixin_44215692的博客
04-02 6004
讲解glibc下malloc的实现，为今后pwn的堆利用打好基础
理解 glibc malloc：主流用户态内存分配器实现原理
热门推荐
猫科龙
07-21 2万+
本篇文章主要完成了对《Understanding glibc malloc》的翻译工作。限于本人翻译水平与专业技术水平（纯粹为了了解内存分配而翻），本文章必定会有很多不足之处，请大家见谅，也欢迎大家的指正！ 联系邮箱：974985526@qq.com。
深入理解 glibc malloc
weixin_33962923的博客
03-08 435
新一葛格 · 2015/06/15 10:180x00 前言近期的在看 pwn 的一些东西，发现无论是实际场景中，还是 CTF 中，堆的利用越来越多，又由于各种环境下堆的实现都不太一样，因此就让皂皂翻译这篇文章, 我也对本文作了润色修改，以飨读者。原文：https://sploitfun.wordpress.com/2015/02/10/understanding-glibc-malloc/com...
linux中malloc程序,Linux下Glibc 堆的malloc及free过程分析 · Arvin.X’s Blog
weixin_31419249的博客
05-10 324
8种机械键盘轴体对比本人程序员，要买一个写代码的键盘，请问红轴和茶轴怎么选？想要搞明白Linux下的堆管理方便学习下Linux下的堆的攻击利用方式，但看了这篇分析之后感觉在过程上还是不够清晰，于是自己找来Glibc 2.23.90的源码分析了一遍，做了流程上的整理放在这里。链接中已经详细剖析过的结构体等等就不再赘述，主要整理下分配及释放的过程。分配(fastbin的分配发生在链表的头部，其余都发...
linux 下c内存管理,linux内存管理之malloc
weixin_42531923的博客
04-30 1541
对于内核的内存管理，像kmalloc，vmalloc，kmap，ioremap等比较熟悉。而对用户层的管理机制不是很熟悉，下面就从malloc的实现入手.( 这里不探讨linux系统调用的实现机制. ) ,参考了《深入理解计算机系统》和一些网上的资料.首先从http://ftp.gnu.org/gnu/glibc下载glibc库2.21,通常我们用的bsp或者sdk里面的工具链都是编译好的，而这个...
深入理解 glibc malloc：内存分配器实现原理
关注微信公众号【开源Linux】，后台回复『10T』，领取10T学习资源大放送，涵盖Linux、虚拟化、容器、云计算、网络、Python、Go等书籍和视频
01-11 494
译者：猫科龙 链接：https://blog.youkuaiyun.com/maokelong95/article/details/51989081前言堆内存（Heap Memory）是一个很有意思的...
glibc malloc
最新发布
03-13
<think>嗯，用户想了解glibc中malloc函数的实现和用法。首先，我需要回忆malloc的基本功能，它在C编程中用于动态内存分配。用户可能已经知道基础用法，但想深入了解内部机制，比如内存管理策略。 接下来，应该解释malloc的实现原理。glibc使用的是ptmalloc，即pthread malloc，支持多线程。这里需要分块说明，比如内存块的结构、空闲链表的管理，以及如何通过brk和mmap系统调用来获取内存。要注意区分小块和大块内存的不同处理方式，比如使用brk扩展堆，而大块用mmap匿名映射。 然后，用户可能需要知道如何正确使用malloc，包括检查返回值、内存初始化、避免越界访问等常见问题。比如，malloc(0)的行为在不同系统可能不同，引用中的例子说明即使传0也可能返回有效指针，但后续操作需谨慎。 还要讨论常见的错误和调试方法，比如内存泄漏、重复释放等，以及工具如Valgrind和mtrace的使用。这部分对实际编程很有帮助，用户可能遇到这些问题需要解决。 最后，生成相关问题时要覆盖实现细节、多线程影响、替代方案、错误处理等，确保用户能全面理解。需要检查是否有遗漏的重要点，比如chunk的结构体细节或bin的分类，这些是ptmalloc的关键部分。确保引用格式正确，将用户提供的引用链接到合适的位置，比如关于malloc(0)的特殊情况。</think># glibc中的malloc实现与使用 ## 一、malloc基础实现原理 glibc的malloc实现采用ptmalloc（pthread malloc）内存管理器，主要特点包括： 1. 使用`chunk`作为基本内存单元，每个chunk包含元数据和用户空间 2. 维护多个`bin`（空闲链表）管理不同大小的空闲chunk 3. 通过`brk`系统调用扩展堆空间（用于小内存分配） 4. 使用`mmap`创建匿名内存映射（用于大内存分配）[^2] 内存块结构示例： ```c struct malloc_chunk { size_t mchunk_prev_size; // 前块大小（当空闲时） size_t mchunk_size; // 当前块大小及标志位 struct malloc_chunk* fd; // 前向指针（空闲时） struct malloc_chunk* bk; // 后向指针（空闲时） }; ``` ## 二、内存分配策略 1. **fast bins**：LIFO结构，管理16-80字节的chunk（单链表） 2. **small bins**：FIFO结构，管理512字节以下的chunk（双向链表） 3. **large bins**：管理更大的chunk，按大小范围组织 4. **top chunk**：堆顶未分配的内存区域 5. **mmaped chunk**：超过阈值（默认128KB）的分配使用独立映射 分配流程伪代码： ```c void* malloc(size_t size) { if (size <= max_fast) { // 尝试从fast bins分配 } if (size in small bin range) { // 从small bins分配 } if (size in large bin range) { // 搜索large bins } // 尝试合并空闲块 // 必要时扩展堆或创建新映射 } ``` ## 三、正确使用规范 1. 检查返回值： ```c int *arr = malloc(100 * sizeof(int)); if (arr == NULL) { // 处理内存不足 } ``` 2. 内存初始化： ```c // 使用calloc初始化清零 float *data = calloc(50, sizeof(float)); ``` 3. 避免越界访问： ```c char *str = malloc(10); strncpy(str, input, 9); // 保留最后一个字节为\0 ``` 4. 特殊参数处理： ```c malloc(0); // 可能返回NULL或最小分配指针[^1] ``` ## 四、常见问题与调试 1. 内存泄漏检测工具： ```bash valgrind --leak-check=full ./program ``` 2. 双重释放防护： ```c free(ptr); ptr = NULL; // 防止重复释放 ``` 3. 使用mtrace： ```c #include <mcheck.h> mtrace(); // 启用内存追踪 // ...内存操作... muntrace(); ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值