Redis中bitmap的妙用

本文介绍了Redis中的BitMap数据结构及其应用场景,包括用户签到、活跃用户统计和在线状态跟踪等,展示了如何利用setbit、getbit及bitcount等命令高效处理大量数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

转载自:https://segmentfault.com/a/1190000008188655

在Redis中我们经常用到set,get等命令,细心的你有没有发现,还有几个相似的命令叫setbit,getbit,它们是用来干嘛的?

BitMap是什么

就是通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。我们知道8个bit可以组成一个Byte,所以bitmap本身会极大的节省储存空间。

Redis中的BitMap

Redis从2.2.0版本开始新增了setbit,getbit,bitcount等几个bitmap相关命令。虽然是新命令,但是并没有新增新的数据类型,因为setbit等命令只不过是在set上的扩展。

setbit命令介绍

指令 SETBIT key offset value
复杂度 O(1)
设置或者清空key的value(字符串)在offset处的bit值(只能只0或者1)。

空间占用、以及第一次分配空间需要的时间

在一台2010MacBook Pro上,offset为2^32-1(分配512MB)需要~300ms,offset为2^30-1(分配128MB)需要~80ms,offset为2^28-1(分配32MB)需要~30ms,offset为2^26-1(分配8MB)需要8ms。<来自官方文档>
大概的空间占用计算公式是:($offset/8/1024/1024)MB

使用场景一:用户签到

很多网站都提供了签到功能(这里不考虑数据落地事宜),并且需要展示最近一个月的签到情况,如果使用bitmap我们怎么做?一言不合亮代码!

<?php
$redis = new Redis();
$redis->connect('127.0.0.1');


//用户uid
$uid = 1;

//记录有uid的key
$cacheKey = sprintf("sign_%d", $uid);

//开始有签到功能的日期
$startDate = '2017-01-01';

//今天的日期
$todayDate = '2017-01-21';

//计算offset
$startTime = strtotime($startDate);
$todayTime = strtotime($todayDate);
$offset = floor(($todayTime - $startTime) / 86400);

echo "今天是第{$offset}天" . PHP_EOL;

//签到
//一年一个用户会占用多少空间呢?大约365/8=45.625个字节,好小,有木有被惊呆?
$redis->setBit($cacheKey, $offset, 1);

//查询签到情况
$bitStatus = $redis->getBit($cacheKey, $offset);
echo 1 == $bitStatus ? '今天已经签到啦' : '还没有签到呢';
echo PHP_EOL;

//计算总签到次数
echo $redis->bitCount($cacheKey) . PHP_EOL;

/**
* 计算某段时间内的签到次数
* 很不幸啊,bitCount虽然提供了start和end参数,但是这个说的是字符串的位置,而不是对应"位"的位置
* 幸运的是我们可以通过get命令将value取出来,自己解析。并且这个value不会太大,上面计算过一年一个用户只需要45个字节
* 给我们的网站定一个小目标,运行30年,那么一共需要1.31KB(就问你屌不屌?)
*/
//这是个错误的计算方式
echo $redis->bitCount($cacheKey, 0, 20) . PHP_EOL;

使用场景二:统计活跃用户

使用时间作为cacheKey,然后用户ID为offset,如果当日活跃过就设置为1
那么我该如果计算某几天/月/年的活跃用户呢(暂且约定,统计时间内只有有一天在线就称为活跃),有请下一个redis的命令
命令 BITOP operation destkey key [key ...]
说明:对一个或多个保存二进制位的字符串 key 进行位元操作,并将结果保存到 destkey 上。
说明:BITOP 命令支持 AND 、 OR 、 NOT 、 XOR 这四种操作中的任意一种参数

//日期对应的活跃用户

$data = array(

'2017-01-10' => array(1,2,3,4,5,6,7,8,9,10),

'2017-01-11' => array(1,2,3,4,5,6,7,8),

'2017-01-12' => array(1,2,3,4,5,6),

'2017-01-13' => array(1,2,3,4),

'2017-01-14' => array(1,2)

);



//批量设置活跃状态foreach($data as $date=>$uids) {

$cacheKey = sprintf("stat_%s", $date);

foreach($uids as $uid) {

$redis->setBit($cacheKey, $uid, 1);

}

}



$redis->bitOp('AND', 'stat', 'stat_2017-01-10', 'stat_2017-01-11', 'stat_2017-01-12') . PHP_EOL;

//总活跃用户:6echo "总活跃用户:" . $redis->bitCount('stat') . PHP_EOL;



$redis->bitOp('AND', 'stat1', 'stat_2017-01-10', 'stat_2017-01-11', 'stat_2017-01-14') . PHP_EOL;

//总活跃用户:2echo "总活跃用户:" . $redis->bitCount('stat1') . PHP_EOL;



$redis->bitOp('AND', 'stat2', 'stat_2017-01-10', 'stat_2017-01-11') . PHP_EOL;

//总活跃用户:8echo "总活跃用户:" . $redis->bitCount('stat2') . PHP_EOL;

假设当前站点有5000W用户,那么一天的数据大约为50000000/8/1024/1024=6MB

使用场景三:用户在线状态

前段时间开发一个项目,对方给我提供了一个查询当前用户是否在线的接口。不了解对方是怎么做的,自己考虑了一下,使用bitmap是一个节约空间效率又高的一种方法,只需要一个key,然后用户ID为offset,如果在线就设置为1,不在线就设置为0,和上面的场景一样,5000W用户只需要6MB的空间。

//批量设置在线状态
$uids = range(1, 500000);

foreach($uids as $uid) {

$redis->setBit('online', $uid, $uid % 2);

}

//一个一个获取状态

$uids = range(1, 500000);

$startTime = microtime(true);

foreach($uids as $uid) {

echo $redis->getBit('online', $uid) . PHP_EOL;

}

$endTime = microtime(true);

//在我的电脑上,获取50W个用户的状态需要25秒echo "total:" . ($endTime - $startTime) . "s";




/**

* 对于批量的获取,上面是一种效率低的办法,实际可以通过get获取到value,然后自己计算

* 具体计算方法改天再写吧,之前写的代码找不见了。。。

*/

### Redis Bitmap 使用教程与常见问题 #### 1. Redis Bitmap 的基本概念 Redis Bitmap 是一种基于字符串的数据结构,其中每个字符串被视为一个位数组。通过设置和获取特定位置的位值(0 或 1),可以高效地存储和操作布尔状态信息[^4]。Bitmap 在用户签到统计、活跃用户统计等场景中表现出色[^2]。 #### 2. Redis Bitmap 的核心命令 以下是 Redis Bitmap 的主要命令及其用法: - **SETBIT**:设置指定偏移量的位值。 ```python redis.setbit("bitmap_key", offset, value) ``` 示例:将 `bitmap_key` 的第 5 位设置为 1。 ```python redis.setbit("bitmap_key", 5, 1) # 设置第 5 位为 1 ``` - **GETBIT**:获取指定偏移量的位值。 ```python redis.getbit("bitmap_key", offset) ``` 示例:获取 `bitmap_key` 的第 5 位值。 ```python redis.getbit("bitmap_key", 5) # 获取第 5 位的值 ``` - **BITCOUNT**:统计指定范围内的位值为 1 的数量。 ```python redis.bitcount("bitmap_key", start, end) ``` 示例:统计 `bitmap_key` 中所有位值为 1 的数量。 ```python redis.bitcount("bitmap_key", 0, -1) # 统计整个 Bitmap 的 1 的数量 ``` - **BITOP**:对多个 Bitmap 进行按位逻辑运算(AND、OR、XOR、NOT)。 ```python redis.bitop(operation, destkey, srckey1, srckey2, ...) ``` 示例:对 `srckey1` 和 `srckey2` 进行 OR 操作并将结果存储在 `destkey` 中。 ```python redis.bitop("OR", "destkey", "srckey1", "srckey2") ``` #### 3. 用户签到统计实现 利用 Redis Bitmap,可以高效实现用户签到统计功能。例如,可以通过以下方式记录用户的每日签到状态: ```python import time # 记录用户签到 user_id = "user:1" day_offset = int(time.time()) // (24 * 60 * 60) # 当前天数作为偏移量 redis.setbit(user_id, day_offset, 1) # 查询用户某天是否签到 check_day = day_offset - 7 # 查询一周前的签到状态 is_signed = redis.getbit(user_id, check_day) # 统计用户连续签到天数 total_signed_days = redis.bitcount(user_id, 0, -1) ``` #### 4. 常见问题及注意事项 - **大 Key 问题**:当 Bitmap 的长度过大时,可能会导致内存占用过高。因此,在设计时需要合理选择键名和偏移量[^2]。 - **数据过期**:可以通过设置过期时间来避免 Bitmap 数据长期占用内存。 ```python redis.expire("bitmap_key", 86400) # 设置 Bitmap 在 1 天后过期 ``` - **并发问题**:在高并发场景下,可能需要使用 Lua 脚本来确保操作的原子性[^3]。 - **性能优化**:对于频繁读写的 Bitmap,建议将其缓存到内存中以减少 Redis 的负载[^1]。 #### 5. 示例代码:统计活跃用户 以下是一个统计活跃用户的示例,假设每天生成一个 Bitmap 来记录用户的在线状态: ```python # 记录用户在线状态 date = "20231001" user_id = 12345 redis.setbit(f"active_users:{date}", user_id, 1) # 统计某天的活跃用户数 active_count = redis.bitcount(f"active_users:{date}") # 合并多天的活跃用户数据 redis.bitop("OR", "active_users:merged", "active_users:20231001", "active_users:20231002") merged_count = redis.bitcount("active_users:merged") ``` #### 6. Redis Bitmap 的扩展应用 除了用户签到和活跃用户统计外,Redis Bitmap 还可以应用于布隆过滤器、用户行为标签等场景[^5]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值