bitmap在计算维度/指标的用户留存、漏斗模型中的应用总结

具体场景：dm层数仓表，一共22个维度列，指标列选定为event_id（事件圈选id），uuid列为用户id列

采用MutableRoaringBitmap，分两部分：

第一部分是bitmap的rowkey，第二部分是bitmap的具体value

---

具体逻辑是，通过MapReduce程序，

对于dm层数仓表的每一行数据，输出Text Key，Text Value

key=projId值_type_dimId_uuidType_granularity_dt值，这里面在当天dt、当前项目idproj_d下，只有维度值dimId不同。

value=表中所有uuid（转换成UTF-8编码的字节数组格式）

ps：dimId是代表维度的id值，例如country=0，prov=1...

 

（1）对于维度bitmap，

对于dm层数仓表的每一行数据，走完map方法后，输出22个（当前维度对应的rowkey，当前uuid存入bitmap）；

这样全表扫描完毕后，生成22个（当前维度对应的rowkey，全表uuid存入bitmap）

 

（2）对于指标event_id，以同样的逻辑，生成（当前eventId值对应的rowkey，当前eventId值对应的全表所有uuid）

---

这样，最终可以通过维度字段对应的rowkey来查询当天所有出现过的uuid，也可以通过指定值的指标event_id来查询其对应的，当天的所有uuid。

然后，用bitmap的and和or方法，来求交集和并集；

通过求天与天、天与周、天与月之间的bitmap rowkey'查询出来的bitmap value值（即存放uuid的bitmap），通过求bitmap交集，来计算留存和漏斗。