MemLink之mem

MemLink被誉为一款高性能的key-List系统,据称其速度远超Redis。该系统的核心在于其内存管理和数据结构设计。通过DataBlock、MemItem和MemPool这三个关键数据结构,MemLink实现了一套高效的内存池管理机制。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

       memlink按照天涯的人说是一个灰常牛的key-List系统,比Redis要快很多倍,下面就来一点点看它的代码。在内存中的Block也是通过一个池来管理的,用到的数据结构大致有三个DataBlock、MemItem、MemPool。MemPool的结构如下:

typedef struct _mempool
{
	MemItem	*freemem;	// 数组
	int	size;		// 数组的大小
	int	used;		// 正在用的MemItem的大小
	int	blocks;		// 内存池中的数目
}MemPool;
在一个内存池中管理的有各种大小的Block,而相同大小的Block就被放在统一个MemItem中来管理,该结构如下:

typedef struct _mem_item
{
	int		memsize;	// 管理的块的大小
	unsigned int	block_count;	// 块的数目
	unsigned int	total;		// 用的空闲的块的总数
	DataBlock	*data;		// 相当于一个链表头
}MemItem;
通过这个单位就把所有的大小相同的放在了统一个Item中管理,而数据块的表示如下:

typedef struct _data_block
{
	unsigned short		data_count;	// 小块的数目
	unsigned short		visible_count;	// visible item count
	unsigned short		tagdel_count;	// tag delete item count, invisible
	struct _data_block	*prev;
	struct _data_block	*next;
	char			data[0];
}DataBlock;
该结构在内存中通过双向链表来保存,链表的头保存在MemItem中,关于是否内存和申请内存的操作都很普通。这里用内存池显然是为了减少分配释放带来的开销,那为什在expend的时候不用改变内存大小的系统调用?这样的话可能减少一次分配和一次拷贝和一次释放,代码如下:

int mempool_expand(MemPool *mp)
{
    int newnum = mp->size * 2;           
    MemItem  *newitems = (MemItem*)zz_malloc(sizeof(MemItem) * newnum);
    if (NULL == newitems) {
	DERROR("malloc error!\n");
	MEMLINK_EXIT;
        return -1;
    }
    memcpy(newitems, mp->freemem, sizeof(MemItem) * mp->used);
    zz_free(mp->freemem);
    mp->freemem = newitems;
    mp->size = newnum;

    return 0;
}

-------------------------------------------

个人理解,欢迎拍砖。
memlink函数,nosql数据库,天涯论坛数据库,海量数据快速存取,内存数据库 天涯社区最近开发了一款数据引擎——Memlink,并将其开源。对于为什么会出现这样一款开源项目、它的能力和市面上的其他款同类型项目相比有怎样的优势 近些年,Nosql系统非常流行,也确实对sql系统进行了合理补充,为Web应用提供多种数据解决方案。但是在开源Nosql系统中,key-value系统可选择较多,而key-list/queue系统可选择较少,因此我们开发了memlink来满足我们自己的需要。 在这里,需要强调一些key-list的概念,在实际场景中有大量需要key-list的地方。比如:论坛中的主题列表、回复列表,微博中的用户关注列表、用户feed列表、用户关注feed列表等等。如果使用key-value中的value来存储list(比如:list打包成json放入value中),其操作性能是非常低效的。 理想的Key-list通常需要如下特点: 1.list是海量的、且操作性能高效 2.list是有序的、且可动态调整顺序 Memlink是一个高性能、持久化、分布式的Key=>List/Queue数据引擎。正如名称中的Mem所示,所有数据都建构在内存中,保证了系统的高性能,同时使用块链进行内存压缩,使用redo-log技术保证数据的持久化。此外,Memlink还支持主从复制、读写分离、数据项过滤操作等功能。 特点: •内存数据引擎,性能极为高效 •List中的Node采用块链组织,精简内存,优化查找效率 •Node数据项可自定义Mask表,支持多种过滤操作 •支持redo-log,数据持久化,非Cache模式 •分布式,主从同步 •读写分离,写优先处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值