15种实时uv实现方案系列(附源码)之一：Flink基于set实时uv统计

最新推荐文章于 2024-04-01 00:00:10 发布

xl-xueling

最新推荐文章于 2024-04-01 00:00:10 发布

阅读量247

点赞数

CC 4.0 BY-SA版权

分类专栏： UVStatMultiPlans 文章标签： uv flink linq

本文链接：https://blog.youkuaiyun.com/asmfeng2/article/details/132338370

UVStatMultiPlans（GitHub）项目持续收集各种高性能实时uv实现方案并对各种实现方案的优缺点进行对比分析！

需求描述

统计每分钟用户每个页面的uv访问量。

代码实现

完整代码已上传至：https://github.com/xl-xueling/uvstatmultiplans.git

public class UVStatPlan1 {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(5);
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
        env.getConfig().setAutoWatermarkInterval(TimeUnit.MINUTES.toMillis(10));
        Properties kafkaProperties = new Properties();
        kafkaProperties.setProperty("bootstrap.servers", SysConst.KAFKA_BOOTSTRAP_SERVERS);
        kafkaProperties.setProperty("group.id","groupId_" + System.currentTimeMillis());
        kafkaProperties.setProperty("auto.offset.reset","latest");
        FlinkKafkaConsumer<String> consumer =
                new Fl