15种实时uv实现方案系列(附源码)之二：Flink基于state实时uv统计

原创

已于 2023-08-21 11:03:28 修改 · 359 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#uv #flink #linq

于 2023-08-21 11:03:03 首次发布

UVStatMultiPlans（GitHub）项目持续收集各种高性能实时uv实现方案并对各种实现方案的优缺点进行对比分析！

需求描述

消费Kafka日志行为数据，统计每分钟用户每个页面的uv访问量。

Kafka数据格式

{"userId":"c61b801e-22e7-4238-8f67-90968a40f2a7","page":"page_1","behaviorTime":1692247408129}
{"userId":"c61b801e-22e7-4238-8f67-90968a40f2a7","page":"page_2","behaviorTime":1692247408129}

代码实现

文件：UVStatPlan2.class

public class UVStatPlan2 {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(5);
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
        env.getConfig().setAutoWatermarkInterval(TimeUnit.MINUTES.toMillis(10));
        Properties kafkaProperties = new Properties();
        kafkaProperties.setProperty("bootstrap.servers", SysConst.KAFKA_BOOTSTRAP_SERVERS);
        kafkaPro