本文深入探讨了NGX内存池的工作原理，包括数据结构设计、内存池的创建、销毁与重置过程，以及如何通过内存池进行高效内存管理，特别是对于不同大小内存请求的处理策略。此外，文章还详细介绍了内存池中资源的申请、注册与销毁机制，以及如何在内存池中处理特殊资源，如文件句柄等。
自定义内存池作用:
提前分配好一定内存空间, 避免对于小块内存(不超过pagesize-1=4095B)的频繁分配和释放, 而是集中进行分配和释放, 提高效率并大大减少了内存碎片产生的可能性. 而对于大块内存的动态分配, 释放的时间消耗是可以接受的.
一. 主要数据结构
struct ngx_pool_large_s {
ngx_pool_large_t *next; // 链表指针
void *alloc; // 指向分配的大块内存, 大于pagesize
};
typedef struct {
u_char *last; // 指向已分配数据区最末
u_char *end; // 指向当前pool最末, last==end代表分配满
ngx_pool_t *next; // 指向下一个 ngx_pool_t
ngx_uint_t failed; //当前pool中不够分配, 调用ngx_palloc_block新加节点, current节点以及所有之后节点都会自加1
} ngx_pool_data_t;
struct ngx_pool_s {
ngx_pool_data_t d;
size_t max; //
ngx_pool_t *current; // 指向当前分配内存时选择的第1个ngx_pool_t, failed 5次后指向current.d->next
ngx_chain_t *chain; // 挂一个chain结构, 由ngx_buf_t串联起来
ngx_pool_large_t *large; // 超过, 存放到大数据区
ngx_pool_cleanup_t *cleanup; // 挂载一些需要进行额外清理工作的数据, 如文件
ngx_log_t *log;
};
typedef struct {
ngx_fd_t fd; // 对文件类型数据的封装
u_char *name;
ngx_log_t *log;
} ngx_pool_cleanup_file_t;
二. ngx_pool_t的创建, 销毁, 重置
ngx_pool_t *
ngx_create_pool(size_t size, ngx_log_t *log)
{ // 创建总长度为size大小的ngx_pool
ngx_pool_t *p;
// 分配size大小的内存
p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log);
if (p == NULL) {
return NULL;
}
p->d.last = (u_char *) p + sizeof(ngx_pool_t);
p->d.end = (u_char *) p + size;
p->d.next = NULL;
p->d.failed = 0;
size = size - sizeof(ngx_pool_t); // 最大分配空间4095 B
p->max = (size < NGX_MAX_ALLOC_FROM_POOL) ? size : NGX_MAX_ALLOC_FROM_POOL;
p->current = p;
p->chain = NULL;
p->large = NULL;
p->cleanup = NULL;
p->log = log;
return p;
}如图为创建后的节点. ngx_pool_data_t中, 从last指向新分配的开始地址, end指向本节点可分配内存区末尾, last-end的大小来判断当前节点的内存是否够分配请求. next指向下一节点(当前节点满), Failed记录当前节点不能满足分配次数.
max记录当前内存池定义的一次最多分配空间长度(不超过4096B), current指向当前当前的ngx_pool_t节点, chain, large, cleanup目前未分配为空
void
ngx_destroy_pool(ngx_pool_t *pool) // pool上所有数据释放, pool结构释放
{
ngx_pool_t *p, *n;
ngx_pool_large_t *l;
ngx_pool_cleanup_t *c;
for (c = pool->cleanup; c; c = c->next) {
if (c->handler) {
ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,
"run cleanup: %p", c);
c->handler(c->data); // 销毁cleanup链表中的data
}
}
for (l = pool->large; l; l = l->next) {
ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0, "free: %p", l->alloc);
if (l->alloc) { // 释放大块内存
ngx_free(l->alloc);
}
}
for (p = pool, n = pool->d.next; /* void */; p = n, n = n->d.next) {
ngx_free(p);
if (n == NULL) {
break;
}
}
}三. 在内存池上的内存管理
3.1 正常情况
客户代码调用ngx_palloc, 在pool上分配size大小的内存, 返回起始地址.
void *
ngx_palloc(ngx_pool_t *pool, size_t size)
{
u_char *m;
ngx_pool_t *p;
if (size <= pool->max) {
p = pool->current; // 跳到当前待分配pool节点
do {
m = ngx_align_ptr(p->d.last, NGX_ALIGNMENT); // 内存对齐
if ((size_t) (p->d.end - m) >= size) { // 当前节点剩余空间够分配
p->d.last = m + size;
return m;
}
p = p->d.next; // 跳到pool中下一个节点
} while (p);
// 当前pool中所有节点无法分配size大小的区域
return ngx_palloc_block(pool, size);
}
// 超过该pool定义的最大分配内存空间
return ngx_palloc_large(pool, size);
}
void *
ngx_pnalloc(ngx_pool_t *pool, size_t size)
// p->d.last处直接分配, 不做内存对齐3.2 pool->current节点上不够分配size大小内存
若需要分配内存空间size过大, 调用ngx_palloc_large在ngx_pool_t->large上直接分配.
若当前pool中每个节点都无法分配size大小内存区, 则ngx_palloc_block在pool上新增一个节点, 在其上分配
static void *
ngx_palloc_block(ngx_pool_t *pool, size_t size)
{
u_char *m;
size_t psize;
ngx_pool_t *p, *new, *current;
psize = (size_t) (pool->d.end - (u_char *) pool); // 内存池节点总长度
m = ngx_memalign(NGX_POOL_ALIGNMENT, psize, pool->log); // 分配该节点长度大小的内存
if (m == NULL) {
return NULL;
}
new = (ngx_pool_t *) m;
new->d.end = m + psize;
new->d.next = NULL;
new->d.failed = 0;
m += sizeof(ngx_pool_data_t);
m = ngx_align_ptr(m, NGX_ALIGNMENT); // 64位机器, NGX_ALIGNMENT==8byte对齐
new->d.last = m + size;
current = pool->current;
for (p = current; p->d.next; p = p->d.next) {
if (p->d.failed++ > 4) {
current = p->d.next;
}
}
p->d.next = new; // 节点加到pool的链表尾
pool->current = current ? current : new; // 若current已经指向队尾
return m;
}如果, p->current指向节点中不够分配size, 则新建节点, failed++, 在ngx_palloc_block创建新节点, 在新节点上分配size大小区域
3.3 大内存的分配, 释放
static void *
ngx_palloc_large(ngx_pool_t *pool, size_t size)
{
void *p;
ngx_uint_t n;
ngx_pool_large_t *large;
p = ngx_alloc(size, pool->log); // 直接malloc内存
if (p == NULL) {
return NULL;
}
n = 0;
for (large = pool->large; large; large = large->next) {
if (large->alloc == NULL) {
large->alloc = p;
return p;
}
if (n++ > 3) { // 链表中超过3个指向内存非空large_t结构, 则不遍历到队尾, 放在链表头
break;
}
}
large = ngx_palloc(pool, sizeof(ngx_pool_large_t));
if (large == NULL) {
ngx_free(p);
return NULL;
}
large->alloc = p; // 新分配的large内存放在链表头
large->next = pool->large;
pool->large = large;
return p;
}
ngx_int_t
ngx_pfree(ngx_pool_t *pool, void *p)
{
ngx_pool_large_t *l;
for (l = pool->large; l; l = l->next) {
if (p == l->alloc) { // 遍历large链表, 找到分配内存p所在后释放
ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,
"free: %p", l->alloc);
ngx_free(l->alloc);
l->alloc = NULL;
return NGX_OK;
}
}
return NGX_DECLINED;
}如图, 对于超过pool->max的空间大小的分配, 每次会先分配size大小的内存, 再挂在ngx_palloc_large_t类型的链表上, 首先从链表头遍历是否有alloc指向null, 超过3个非空, 则新建一个pool_large结构放到队头, 这里不太明白为什么要设计成这样, 是否有根据统计值做过优化, 为什么不直接分配放到队头? ngx_pfree有可能多次释放的都是队尾的, 这样实际还是有很多pool_large被浪费.
,
3.4 ngx_pool_cleanup_t 资源的申请, 注册与销毁
ngx_pool_cleanup_add添加一个cleanup资源供客户代码使用, 在将需要资源挂载到内存池同时, 注册一个cleanup_pt函数地址, 供销毁数据时使用. 如果小内存, 仍然是在pool上分配的, 但对于fd等释放时需要额外操作的资源, 仅仅移动pool上的last指针是不够的,需要额外定义一些自己的清理工作.
ngx_pool_cleanup_t *
ngx_pool_cleanup_add(ngx_pool_t *p, size_t size)
{
ngx_pool_cleanup_t *c;
// 分配一个ngx_pool_cleanup_t结构
c = ngx_palloc(p, sizeof(ngx_pool_cleanup_t));
if (c == NULL) {
return NULL;
}
// 为ngx_pool_cleanup_t->data分配size大小空间
if (size) {
c->data = ngx_palloc(p, size);
if (c->data == NULL) {
return NULL;
}
} else {
c->data = NULL;
}
c->handler = NULL;
c->next = p->cleanup; // 新建节点放在pool->cleanup链表头
p->cleanup = c;
ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, p->log, 0, "add cleanup: %p", c);
return c;
}
void
ngx_pool_run_cleanup_file(ngx_pool_t *p, ngx_fd_t fd)
{ // 清理p->cleanup链表上的所有挂载文件fd
ngx_pool_cleanup_t *c;
ngx_pool_cleanup_file_t *cf; // ngx_pool_cleanup_t->data类型, 实际是对fd的封装
for (c = p->cleanup; c; c = c->next) {
if (c->handler == ngx_pool_cleanup_file) {
cf = c->data;
if (cf->fd == fd) { // 找到对应fd, 调用ngx_pool_cleanup_file清理fd
c->handler(cf);
c->handler = NULL;
return;
}
}
}
}
void
ngx_pool_cleanup_file(void *data)
{ // 封装ngx_close_file, 关闭data
ngx_pool_cleanup_file_t *c = data;
ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, c->log, 0, "file cleanup: fd:%d",
c->fd);
if (ngx_close_file(c->fd) == NGX_FILE_ERROR) {
ngx_log_error(NGX_LOG_ALERT, c->log, ngx_errno,
ngx_close_file_n " \"%s\" failed", c->name);
}
}如图, 客户代码调用ngx_pool_cleanup_add分配一个cleanup结构, 可存储size大小的数据, 挂载在pool->cleanup链表上, 同时再cleanup->hander指向自定义的cleanup资源处理函数. 可主动调用, 如ngx_pool_run_cleanup_file将制定的fd释放; 被动地, 在销毁内存池destroy_pool时会遍历cleanup链表由handler指向的函数地址来处理data域数据. 
扫一扫
2895
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
