Buddy算法

最近在在研究Ext4文件系统,ext4预分配涉及到buddy思想,特转载相关概念。


Buddy算法的优缺点:

1)尽管伙伴内存算法在内存碎片问题上已经做的相当出色,但是该算法中,一个很小的块往往会阻碍一个大块的合并,一个系统中,对内存块的分配,大小是随机的,一片内存中仅一个小的内存块没有释放,旁边两个大的就不能合并。

2)算法中有一定的浪费现象,伙伴算法是按2的幂次方大小进行分配内存块,当然这样做是有原因的,即为了避免把大的内存块拆的太碎,更重要的是使分配和释放过程迅速。但是他也带来了不利的一面,如果所需内存大小不是2的幂次方,就会有部分页面浪费。有时还很严重。比如原来是1024个块,申请了16个块,再申请600个块就申请不到了,因为已经被分割了。

3)另外拆分和合并涉及到 较多的链表和位图操作,开销还是比较大的。

Buddy(伙伴的定义):

这里给出伙伴的概念,满足以下三个条件的称为伙伴:
1)两个块大小相同;
2)两个块地址连续;
3)两个块必须是同一个大块中分离出来的;

Buddy算法的分配原理:

假如系统需要4(2*2)个页面大小的内存块,该算法就到free_area[2]中查找,如果链表中有空闲块,就直接从中摘下并分配出去。如果没有,算法将顺着数组向上查找free_area[3],如果free_area[3]中有空闲块,则将其从链表中摘下,分成等大小的两部分,前四个页面作为一个块插入free_area[2],后4个页面分配出去,free_area[3]中也没有,就再向上查找,如果free_area[4]中有,就将这16(2*2*2*2)个页面等分成两份,前一半挂如free_area[3]的链表头部,后一半的8个页等分成两等分,前一半挂free_area[2]
的链表中,后一半分配出去。假如free_area[4]也没有,则重复上面的过程,知道到达free_area数组的最后,如果还没有则放弃分配。



Buddy算法的释放原理:

内存的释放是分配的逆过程,也可以看作是伙伴的合并过程。当释放一个块时,先在其对应的链表中考查是否有伙伴存在,如果没有伙伴块,就直接把要释放的块挂入链表头;如果有,则从链表中摘下伙伴,合并成一个大块,然后继续考察合并后的块在更大一级链表中是否有伙伴存在,直到不能合并或者已经合并到了最大的块(2*2*2*2*2*2*2*2*2个页面)。


整个过程中,位图扮演了重要的角色,如图2所示,位图的某一位对应两个互为伙伴的块,为1表示其中一块已经分配出去了,为0表示两块都空闲。伙伴中无论是分配还是释放都只是相对的位图进行异或操作。分配内存时对位图的
是为释放过程服务,释放过程根据位图判断伙伴是否存在,如果对相应位的异或操作得1,则没有伙伴可以合并,如果异或操作得0,就进行合并,并且继续按这种方式合并伙伴,直到不能合并为止。


Buddy内存管理的实现:

提到buddy 就会想起linux 下的物理内存的管理 ,这里的memory pool 上实现的 buddy 系统

和linux 上按page 实现的buddy系统有所不同的是,他是按照字节的2的n次方来做block的size

实现的机制中主要的结构如下:

整个buddy 系统的结构:

struct mem_pool_table

{

#define MEM_POOL_TABLE_INIT_COOKIE (0x62756479)

uint32 initialized_cookie; /* Cookie 指示内存已经被初始化后的魔数,  如果已经初始化设置为0x62756479*/

uint8 *mem_pool_ptr;/* 指向内存池的地址*/

uint32 mem_pool_size; /* 整个pool 的size,下面是整个max block size 的大小*/

uint32 max_block_size ;  / * 必须是2的n次方 ,表示池中最大块的大小 * /   
boolean assert_on_empty ;  / * 如果该值被设置成TRUE ,内存分配请求没有完成就返回 并输出出错信息 * /
 uint32 mem_remaining ;  / * 当前内存池中剩余内存字节数 * /                                              
uint32 max_free_list_index ;  / * 最大freelist 的下标 , * /
struct mem_free_hdr_type      *free_lists [MAX_LEVELS ] ; / * 这个就是伙伴系统的level数组 * /

#ifdef FEATURE_MEM_CHECK
uint32 max_block_requested ;
  uint32 min_free_mem ;  / * 放mem_remaining  * /
#endif  / * FEATURE_ONCRPC_MEM_CHECK * /
} ;

这个结构是包含在free node 或alloc node 中的结构:

其中check 和 fill 都被设置为某个pattern
用来检查该node 的合法性
#define MEM_HDR_CHECK_PATTERN ((uint16)0x3CA4)
#define MEM_HDR_FILL_PATTERN ((uint8)0x5C)


typedef struct  tagBuddyMemBlockHeadType

{

    mem_pool_type pool; /*回指向内存池*/

    uint16 check; 

    uint8 state; /* bits 0-3 放该node 属于那1级 bit 7 如果置1,表示已经分配(not free)

    uint8 fill;

} BUDDY_MEM_BLOCK_HEAD_TYPE;



这个结构就是包含node 类型结构的 free header 的结构:

typedef struct  tagBuddyMemHeadType

{

    mem_node_hdr_type hdr;

    struct mem_free_hdr_type * pNext;   /* next,prev,用于连接free header的双向 list*/

    struct mem_free_hdr_type * pPrev;

} mem_free_hdr_type;

这个结构就是包含node 类型结构的 alloc header 的结构:
已分配的mem 的node 在内存中就是这样表示的
  1. typedef struct mem_alloc_hdr_type
  2. {
  3.    mem_node_hdr_type hdr;

  4. #ifdef FEATURE_MEM_CHECK_OVERWRITE
  5.    uint32     in_use_size;
  6. #endif

  7. } mem_alloc_hdr_type;
其中用in_use_size 来表示如果请求分配的size 所属的level上实际用了多少
比如申请size=2000bytes, 按size to level 应该是2048,实际in_use_size
为2000,剩下48byte 全部填充为某一数值,然后在以后free 是可以check 
是否有overwite 到着48byte 中的数值,一般为了速度,只 检查8到16byte

另外为什么不把这剩下的48byte 放到freelist 中其他level 中呢,这个可能
因为本来buddy 系统的缺点就是容易产生碎片,这样的话就更碎了

关于free or alloc node 的示意图:

假设

最小块为2^4=16,着是由mem_alloc_hdr_type (12byte)决定的, 实际可分配4byte

如果假定最大max_block_size =1024,

如果pool 有mem_free_hdr_type[0]上挂了两个1024的block node

上图是free node, 下图紫色为alloc node


接下来主要是buddy 系统的操作主要包括pool init , mem alloc ,mem free

pool init :
 1. 将实际pool 的大小去掉mem_pool_table 结构大小后的size 放到
     mem_pool_size, 并且修改实际mem_pool_ptr指向前进mem_pool_table
     结构大小的地址
 2.  接下来主要将mem_pool_size 大小的内存,按最大块挂到free_lists 上
    level 为0的list 上,然后小于该level block size 部分,继续挂大下一
    级,循环到全部处理完成  (感觉实际用于pool的size ,应该为减去
    mem_pool_table 的大小,然后和最大块的size 对齐,这样比较好,
    但没有实际测试过)
    
    
mem alloc:
    这部分相当简单,先根据请求mem的size ,实际分配时需要加上mem_alloc_hdr_type
这12byte ,然后根据调整后的size,计算实际应该在那个 level上分配,如果有相应级
很简单,直接返回,如果没有,一级一级循环查找,找到后,把省下的部分,在往下一级
一级插入到对应级的freelist 上

mem free:
     其中free 的地址,减去12 就可以获得mem_alloc_hdr_type 结构
     然后确定buddy 在该被free block 前,还是后面, 然后合并buddy,
     循环寻找上一级的buddy ,有就再合并,只到最大block size 那级



关于这个算法,在<<The Art  of Computer Programming>> vol 1,的
动态存储分配中有描述,对于那些只有OSAL 的小系统,该算法相当有用
2.设计一个虚拟存储区和内存工作区,并使用下述算法计算访问命中率。 1) 最佳置换算法(Optimal) 2) 先进先出法(Fisrt In First Out) 3) 最近最久未使用(Least Recently Used) 4) 最不经常使用法(Least Frequently Used) 5) 最近未使用法(No Used Recently) 其中,命中率=1-页面失效次数/页地址流长度。 试对上述算法的性能加以较各:页面个数和命中率间的关系;同样情况下的命中率比较。 实验准备 本实验中主要的流程:首先用srand( )和rand( )函数定义和产生指令序列,然后将指令序列变换成相应的页地址流,并针对不同的算法计算出相应的命中率。 实验可先从一个具体的例子出发。 (1)通过随机数产生一个指令序列,共2048条指令。指令的地址按下述原则生成: A:50%的指令是顺序执行的 B:25%的指令是均匀分布在前地址部分 C:25%的指令是均匀分布在后地址部分 具体的实施方法是: A:在[0,1023]的指令地址之间随机选取一起点m B:顺序执行一条指令,即执行地址为m+1的指令 C:在前地址[0,m+1]中随机选取一条指令并执行,该指令的地址为m’ D:顺序执行一条指令,其地址为m’+1 E:在后地址[m’+22047]中随机选取一条指令并执行 F:重复步骤A-E,直到2048次指令 (2)将指令序列变换为页地址流 设:页面大小为4K; 用户内存容量4页到32页; 用户虚存容量为32K。 在用户虚存中,按每K存放64条指令排列虚存地址,即2048条指令在虚存中的存放方式为: 第 0 条-第 63 条指令为第0页(对应虚存地址为[0,63]) 第64条-第127条指令为第1页(对应虚存地址为[64,127]) ……………………………… 第1984条-第2047条指令为第31页(对应虚存地址为[1984,2047]) 按以上方式,用户指令可组成32页。
### Buddy Algorithm Implementation and Explanation In computer science, the buddy memory allocation method is a technique used by various operating systems to allocate memory blocks of size \(2^n\) (where n is an integer). This approach ensures that fragmentation remains low while providing efficient memory management. #### Key Concepts Memory allocated using this system must be in powers of two. When allocating or freeing space, buddies are paired together based on their sizes until no more pairs can be made within available segments[^1]. #### Implementation Details To implement the buddy algorithm effectively: - A binary tree structure represents all possible block divisions. - Each node corresponds to one potential division point between two equal-sized areas. - The root starts as the entire addressable range; children represent halves recursively divided down through leaves representing individual units at minimum granularity supported by hardware architecture. Here’s how such logic might look implemented programmatically with Python code demonstrating core functionality without specific optimizations typically found in production environments: ```python class Block: def __init__(self, start, end): self.start = start self.end = end self.buddy = None self.is_free = True def find_buddy(block, heap_size): current_level_bits = int.bit_length(heap_size) - 1 diff = abs((block.end - block.start + 1) // 2) if block.start % (diff * 2) == 0: return Block(block.start + diff, min(block.end, block.start + (diff * 2) - 1)) else: return Block(max(0, block.start - diff), block.start - 1) def split_block(parent_block): mid_point = parent_block.start + ((parent_block.end - parent_block.start) // 2) first_child = Block(parent_block.start, mid_point) second_child = Block(mid_point + 1, parent_block.end) first_child.buddy = second_child second_child.buddy = first_child return [first_child, second_child] heap_memory = [] allocated_blocks = {} free_list = [] # Initialize free list with single large chunk covering full 'virtual' heap area initial_heap_chunk = Block(0, pow(2, 20)) # Example for 1MB total virtual heap size free_list.append(initial_heap_chunk) def malloc(size): required_power_of_two = 1 << (size - 1).bit_length() suitable_block_index = next( ( i for i, b in enumerate(free_list) if not b.is_free or (b.end - b.start + 1 >= required_power_of_two) ), None, ) if suitable_block_index is None: raise MemoryError("Out of memory") selected_block = free_list.pop(suitable_block_index) remaining_space_after_allocation = selected_block.end - selected_block.start + 1 - required_power_of_two new_allocated_block = Block(selected_block.start, selected_block.start + required_power_of_two - 1) new_allocated_block.is_free = False if remaining_space_after_allocation > 0: leftover_piece = Block(new_allocated_block.end + 1, selected_block.end) leftover_piece.is_free = True free_list.append(leftover_piece) allocated_blocks[id(new_allocated_block)] = new_allocated_block return id(new_allocated_block) def free(ptr_id): target_block = allocated_blocks.get(ptr_id) if target_block is None or not target_block.is_free: raise ValueError('Invalid pointer') del allocated_blocks[ptr_id] target_block.is_free = True merge_with_buddies(target_block) def merge_with_buddies(current_block): global free_list while current_block.buddy and current_block.buddy.is_free: merged_start = min(current_block.start, current_block.buddy.start) merged_end = max(current_block.end, current_block.buddy.end) combined_block = Block(merged_start, merged_end) free_list.remove(current_block) free_list.remove(current_block.buddy) current_block = combined_block free_list.append(combined_block) break # Only attempt merging once per call due to changing state during iteration over `free_list` ``` This example demonstrates basic operations like splitting larger chunks into smaller ones when needed (`split_block` function) and joining adjacent freed regions back together whenever feasible (`merge_with_buddies`). It also includes simplified versions of common functions seen in real-world implementations—such as those responsible for requesting (`malloc`) and releasing (`free`) portions from/to managed storage pools.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值