Flink去重统计-基于自定义布隆过滤器

最新推荐文章于 2023-12-26 11:15:27 发布

原创

最新推荐文章于 2023-12-26 11:15:27 发布 · 1.1k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#flink #redis #大数据

本文介绍如何在Flink中利用自定义布隆过滤器进行去重操作，特别是针对大规模数据集的独立访客统计场景。通过结合Redis和优化后的哈希算法，有效提升了处理效率并减少了误判率。

一、背景说明

在Flink中对流数据进行去重计算是常有操作，如流量域对独立访客之类的统计，去重思路一般有三个：

基于Hashset来实现去重
数据存在内存，容量小，服务重启会丢失。
使用状态编程ValueState/MapState实现去重
常用方式，可以使用内存/文件系统/RocksDB作为状态后端存储。
结合Redis使用布隆过滤器实现去重
适用对上亿数据量进行去重实现，占用资源少效率高，有小概率误判。

这里以自定义布隆过滤器的方式，实现Flink窗口计算中独立访客的统计，数据集样例如下：

二、布隆过滤器部分说明

布隆过滤器简单点说就是哈希算法+bitmap，如上图，对字符串结合多种哈希算法，基于bitmap作为存储，由于只用0/1存储，所以可以大量节省存储空间，也就特别适合在上百亿数据里面做去重这种动作。在后续要进行字符串查找时，对要查找的字符串同样计算这多个哈希算法，根据在bitmap上的位置，可以确认该字符串一定不在或者极大概率在（由于哈希冲突问题会有极小概率误判）。

引申一下，如上所述，能对哈希冲突进行更好的优化，便能更好解决误判问题，当然也不能无限的增加多种哈希算法的策略，会相应带来计算效率的下降。

在本次开发中，使用自定义的布隆过滤器，其中对哈希算法部分做了几点优化：

结合Redis使用，Redis原生支持bitmap
对bitmap容量扩容，一般为数据的3-10倍，这里使用2^30，使用2的整数幂，能让后续查找输出使用位与运算，实现比取模查找更高的效率。

myBloomFilter = new MyBloomFilter(1 << 30);

优化哈希算法，这里对要查找的id转为char类型，并行单个剔除后基于Unicode编码乘以质数31再相加，来避免不同字符串计算出同样哈希值的问题。

for (char c : value.toCharArray()){
   
   
                result += result * 31 + c;
            }

另外，谷歌提供的工具Guava也包含了布隆过滤器，加入相关依赖即可使用，主要参数如下源码，输入要建立的过滤器容器大小及误判概率即可。

public static <T> BloomFilter<T> create(Funnel<? super T> funnel, int expectedInsertions, double fpp) {
   
   
        return create(funnel, (long)expectedInsertions, fpp);
    }

三、代码部分

package com.test.UVbloomfilter;

import bean.UserBehavior;
import bean.UserVisitorCount;
import java.sql.Timestamp;
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.datastream.WindowedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
impo