美图分布式Bitmap实践：Naix

关注

VIP免费原创 2022-06-20 16:46:14 509 阅读 AI 写同款· GEO 优化 ›

信息密度 (information density)，及代码实现 from sklearn.datasets import make_blobs from modAL.density import information_density import matplotlib.pyplot as plt from pathlib import Path import numpy as np import pandas as pd ##获取数据 X, y = make_blobs(n_features=2, n_samples=1000, centers=3... 阅读详情

大数据技术和应用系统目前已经在各个行业中发挥着巨大的作用，各种各样的开源技术也给大数据从业人员带来了很大的便利。Bitmap 作为一种大数据需求下产生的计算体系，有着计算速度快、信息密度高、支持海量数据等众多优势。

美图拥有海量用户数据，每天都有大量数据计算任务。而 Bitmap 技术能大幅度减少计算的开销，节省数据存储的成本，尽管有不少公司做过 Bitmap 的相关尝试，但是到目前为止还没有一个相对成熟的分布式 Bitmap 开源应用，因此美图研发了自己的分布式 Bitmap 系统，应用于美图各个场景下的相关数据计算任务。

/ Bitmap简介 /

Bitmap 作为被各种框架广泛引用的一门技术，它的原理其实很简单。

bit 即比特，而 Bitmap 则是通过 bit 位来标识某个元素对应的值（支持 0、1 两种状态），简单而言，Bitmap 本身就是一个 bit 数组。

举个简单的例子，假设有 10 个用户（ID 分别为 1~10），某天 1、3、5、7、8、9 登录系统，如何简单的表示用户的登录状态呢？如图 1，只需要找到用户对应的位，并置 1 即可。

图 1

更多地，如果需要查看某用户当天是否登录系统，仅需查看该用户 ID 位对应的值是否为1。并且，通过统计 Bitmap 中 1 的个数便可知道登录系统的用户总数。Bitmap 已支持的运算操作（如 AND、OR、ANDNOT 等）可以使维度交叉等计算更加便捷。

Bitmap两个重要的特性

高性能

Bitmap 在其主战场的计算性能相当惊人。在美图，早期的统计主要基于 Hive。以美图系某 APP 数据为基准进行了简单的留存计算（即统计新增用户在次日依然活跃的用户数量），通过 Hive（采用 left out join）耗时 139 秒左右，而 Bitmap（交集计算）仅需 226 毫秒，Hive 的耗时是 Bitmap 的 617 倍左右。如图 2 所示，其中，Hive 基于 4 节点的 Hadoop 集群，而 Bitmap 仅使用单节点单进程。

图 2

存储空间小

由于 Bitmap 是通过 bit 位来标识状态，数据高度压缩故占用存储空间极小。假设有 10 亿活跃设备 ID（数值类型），若使用常规的 Int 数组存储大概需 3.72G，而 Bitmap 仅需 110M 左右。当然，若要进行去重、排序等操作，存储空间的节省带来的性能红利（如内存消耗等）也非常可观。

美图 Bitmap 应用

美图公司拥有众多 APP，如美图秀秀、美颜相机、美拍、美妆相机、潮自拍等。大家熟知的美图秀秀和美颜相机都拥有千万级别的日活，历史累积的用户量更达几十亿。

大部分主要日常统计功能均基于 Bitmap，如新增、活跃、留存、升级、回访等。同时，我们还支持时间粒度（比如天、周、月甚至年）及 APP、渠道、版本、地区等多种维度，以及各维度的交叉计算等。