Flink系列：Window窗口增量/全量聚合方法（reduce、aggregate 、apply、process）

最新推荐文章于 2025-11-28 07:45:00 发布
原创 最新推荐文章于 2025-11-28 07:45:00 发布 · 9.4k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Apache Flink中用于增量和全量聚合的方法，包括reduce、aggregate、apply和process。详细阐述了这些方法在Window操作中的实现和应用实例，帮助理解Flink自定义Window窗口的使用。
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink中增量聚合函数和全量聚合函数的关系
什么最重要？算法！！
11-28 2769
在上一篇博客当中，我们对Window的整体分类即使用进行了介绍，今天我们将从另外一个角度对Window进行分类，这个角度就是聚合角度。 Window的聚合操作分为2种：一种是增量聚合，另外一种是全量聚合，增量聚合是指窗口内每进入一条数据就计算一次，而全量聚合是指在窗口 被触发的时候才会对窗口内的所有数据进行一次计算。 （1）增量聚合 常见的增量聚合函数有：reduce(reduceFunction)、aggregate(aggregateFunction)、sum()、min()、max()。 增量聚合.
Flink系列：WindowFunction使用方法
NIO4444
07-05 1392
语法 https://ci.apache.org/projects/flink/flink-docs-master/api/java/org/apache/flink/streaming/api/functions/windowing/WindowFunction.html 分组 分组的stream调用keyBy(…)和window(…) 非分组的stream中window()换成了windowAll(…) 触发器Trigger 每个 Window 都有一个...
Flink全量聚合函数：apply和process这两种实现方法有什么区别？
luke991127的博客
12-26 887
ProcessWindowFunction一次性迭代整个窗口里的所有元素，比较重要的一个对象是Context，可以获取到事件和状态信息，这样我们就可以实现更加灵活的控制，这实际上是process的主要特点吧。Flink全量聚合函数：指在窗口触发的时候才会对窗口内的所有数据进行一次计算（等窗口的数据到齐，才开始进行聚合计算，可实现对窗口内的数据进行排序等需求）process更加底层，更加强大，有open/close生命周期方法，又可获取RuntimeContext。
Flink教程(20) 窗口函数 ReduceFunction AggregateFunction ProcessWindowFunction 结合使用
Java Spring Elasticsearch
03-31 7241
ReduceFunction AggregateFunction ProcessWindowFunction 结合使用一、窗口函数的分类1. 全量和增量的区别2. apply和process的区别3. reduce和aggregate的区别二、AggregateFunction和ProcessWindowFunction结合使用1. 需求背景2. 分析3. 程序主体4. AggregateFunction5. ProcessWindowFunction 一、窗口函数的分类 大多数Flink应用都是要划分窗口
Flink SQL窗口聚合全攻略：Tumble、Hop、Session窗口详解
最新发布
SengMay的专栏
11-28 252
本文系统介绍了流处理中的窗口机制，详细解析了三种核心窗口类型及其应用场景。滚动窗口(TUMBLE)适合固定时间统计，滑动窗口(HOP)实现平滑连续监控，会话窗口(SESSION)反映真实用户行为模式。文章提供了丰富的SQL示例，涵盖窗口分配、聚合计算、连接操作等实践技巧，并分享了状态管理、并行度调优等性能优化方法。最后总结了窗口大小选择策略和水位线配置等生产环境最佳实践，为构建高效实时计算管道提供全面指导。
Flink process 和 apply 简单案例
qq_31866793的博客
10-16 6960
遇到的问题： 使用timeWindow 使用process 出不来结果， 而apply确实可以出结果的，具体原因还不清楚，也不报错 改写成下面的写法： package com.storm.test_demo; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api....
Flink算子apply和process区别
qq_43159264的博客
11-11 3803
1、apply只能用于window之后 总结： keyby后可直接map直接输出，也可以timeWindow进行数据范围批量处理,不能调用apply timeWindow返回WindowedStream，WindowedStream后的process,apply方法，是在水印时间大于等于窗口时间才会进行调用的对窗口进行计算的方式 process,apply计算的方式一样，都是会得到一批key值相同的数据 作者：LeeRich 链接：https://juejin.cn/post/684490398490637
Flink_aggregate_process_state 案例
Lpf的博客
08-25 1542
先说下模拟场景吧，统计日志数据中每分钟的IP访问量，取出访问量最大的五个值，每五秒更新一次 解决思路： 1、将日志中的时间转换为时间戳，作为EventTime 2、所以调用assignTimestampsAndWatermarks将排序EventTime，并设置延迟watermark为60S 3、构建滑动窗口 4、自定义预聚合函数aggregate将数据转换为UrlViewCount格式 5、自定...
Flink中Window Function(窗口函数)的三种类型对比及应用
专注于大数据领域相关技术推广、学习、交流和合作。
11-20 2022
Flink中窗口函数的使用主要包含增量聚合函数、全量窗口函数和增量聚合+全量窗口组合函数三种类型，本文将从该三种类型函数的特点、应用场景、对比和示例方面进行讲解。
聊聊flink的ProcessFunction
weixin_33786077的博客
01-16 315
序 本文主要研究一下flink的ProcessFunction 实例 import org.apache.flink.api.common.state.ValueState; import org.apache.flink.api.common.state.ValueStateDescriptor; import org.apache.f...
Flink的Aggregate算子的用法
weixin_46266718的博客
11-05 4882
窗口聚合函数 如果定义了 WindowAssigner之后，下一步就可以定义窗口内数据的计算逻辑，这也就是 Window Function的定义。 Flink中提供了四种类型的 Window Function， 分别为ReduceFunction、AggregateFunction以及 ProcessWindowFunction,（sum和 max)等。 前三种类型的 Window Fucntion 按照计算原理的不同可以分为两大类： 一类是增量聚合函数：对应有 ReduceFunct...
flink任务分process处理方案
05-03
通过control的config配置文件控制所有流程的执行，每个业务只需要在相应processor中编写代码即可。缺陷：这个框架主要是在一个map下进行业务控制，没有对流级别进行封装
Flink Window
weixin_33991418的博客
12-17 309
为什么80%的码农都做不了架构师？>>> ...
Flink中窗口的划分与应用
星空的风fly
10-06 1594
一、Window 分类 1、数据集类型划分 Flink根据上游数据集是否为KeyedStream类型，即是否使用keyBy(...)，分为Keyed Window和Non-Keyed Window （1）KeyedWindow 上游数据集如果是KeyedStream类型，即使用了keyBy(...)，则调用DataStreamAPI的window()方法，数据会根据Key在不同的Task实例中并行分别计算，最后得出针对每个Key统计的结果。 程序调用流程如下： stream ...
Flink入门第七课：Flink DataStaem Api的Window操作
曹利荣的博客
08-13 409
package com.atguigu.Bwindow; import com.atguigu.Fbeans.SensorReading; import org.apache.commons.collections.IteratorUtils; import org.apache.flink.api.common.functions.AggregateFunction; import org.apache.flink.streaming.api.datastream.DataStream; import.
apply 和 process方法的区别
JavaBigData的博客
08-11 3611
flink scala 中TimeWindow的apply 和 process方法的区别，继承的类不同，其中prcess方法包含context，里面可以获取窗口时间，自定义延迟数据 package com.bai import com.bai.wartermarkTest.MySource import org.apache.flink.api.common.functions.FlatMapFunction import org.apache.flink.streaming.api.TimeCharac
Flink的处理函数——processFunction
雷神乐乐的博客
10-06 3417
Flink的处理函数——processFunction
Window Apply,Process Function,ReduceFunction,AggregateFunction分析
qq_36297093的博客
03-07 2470
本文全部来源于官方文档解释。 Window Apply# WindowedStream → DataStream# AllWindowedStream → DataStream# Applies a general function to the window as a whole. Below is a function that manually sums the elements of a window. 解释：将一个通用的函数应用到整个窗口。可见apply用于窗口函数之后。 举例：...
Flink中Window的介绍和使用
大数据进阶之路
04-18 994
Flink中Window的介绍和使用 Flink中的窗口大致分为两类，分别是Keyed Windows和Non-Keyed Windows，接下来我们从其简单应用方面看看Window都包含哪些内容，基本的用法等。 1. 按照使用场景分类 Keyed Windows：跟在KeyedStream后使用 stream .keyBy(...) <- keyed versus non-keyed windows .window(...)
networks:  net:    external: trueservices:  jobmanager1:    restart: always    image: apache/flink:1.16.3    container_name: jobmanager1    hostname: jobmanager1    ports:     - '8081:8081'    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-jobmanager1.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net  jobmanager2:    restart: always    image: apache/flink:1.16.3    container_name: jobmanager2    hostname: jobmanager2    ports:     - '8082:8081'    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-jobmanager2.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1  taskmanager1:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager1    hostname: taskmanager1    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager1.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2  taskmanager2:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager2    hostname: taskmanager2    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager2.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2  taskmanager3:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager3    hostname: taskmanager3    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager3.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2
04-04
### Apache Flink 1.16.3 Docker Compose 文件配置 为了正确配置包含 `jobmanager` 和 `taskmanager` 的 Apache Flink 1.16.3 Docker Compose 文件，以下是完整的解决方案： #### 1. 创建基础目录结构 创建一个工作目录来存储所有的必要文件。例如： ```bash mkdir flink-docker && cd flink-docker ``` 在此目录下放置以下文件： - `docker-compose.yml` - `flink-conf.yaml` - 自定义脚本（如 `start.sh`） --- #### 2. 编写 `docker-compose.yml` 下面是一个适用于 Apache Flink 1.16.3 的标准 `docker-compose.yml` 文件示例。 ```yaml version: '3' services: jobmanager: image: flink:1.16.3-scala_2.12-java8 container_name: flink_jobmanager ports: - "8081:8081" environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager command: ["standalone-job", "--job-classname", "org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint"] volumes: - ./config/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml - ./lib/:/opt/flink/lib/ - ./scripts/start.sh:/start.sh taskmanager: image: flink:1.16.3-scala_2.12-java8 container_name: flink_taskmanager depends_on: - jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager command: ["taskmanager"] deploy: replicas: 2 volumes: - ./config/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml - ./lib/:/opt/flink/lib/ volumes: data: ``` 上述配置说明如下： - **JobManager**: 使用官方镜像启动 JobManager 并暴露 Web UI 端口 (默认为 8081)[^1]。 - **TaskManager**: 同样基于官方镜像启动 TaskManager，并通过 `replicas` 参数指定副本数量。 - **共享卷**: 将本地的 `flink-conf.yaml` 和自定义库 (`./lib`) 映射到容器内部路径 `/opt/flink/conf` 和 `/opt/flink/lib` 中。 --- #### 3. 配置 `flink-conf.yaml` Flink 的核心配置位于 `flink-conf.yaml` 文件中。以下是一些必要的参数设置： ```yaml jobmanager.rpc.address: jobmanager jobmanager.memory.process.size: 1600m taskmanager.numberOfTaskSlots: 4 taskmanager.memory.process.size: 1g parallelism.default: 4 restart-strategy: fixed-delay restart-strategy.fixed-delay.attempts: 3 restart-strategy.fixed-delay.delay: 10s high-availability: zookeeper high-availability.zookeeper.quorum: zookeeper:2181 high-availability.storageDir: hdfs:///recovery/ state.backend: filesystem state.checkpoints.dir: hdfs:///checkpoints/ state.savepoints.dir: hdfs:///savepoints/ ``` 此配置实现了以下功能： - 设置 JobManager 地址为 `jobmanager`[^2]。 - 定义高可用模式并启用 ZooKeeper 支持[^3]。 - 指定状态后端以及检查点和保存点的存储位置。 注意：如果未使用 HDFS 或 ZooKeeper，则需调整相应部分。 --- #### 4. 复制额外资源至容器 将所需的 JAR 文件和其他依赖项复制到容器中的适当位置。例如： ```bash docker cp flink-docker-1.0.jar jobmanager:/flink-docker-1.0.jar docker cp lib/ jobmanager:/flink-docker-lib/ docker cp scripts/start.sh jobmanager:/start.sh ``` 这一步骤确保了所有外部依赖能够被正常加载。 --- #### 5. 测试 Kafka 集成（可选） 如果有涉及 Kafka 的场景，可以通过以下命令进入 Kafka 容器进行调试： ```bash docker exec -it kafka /bin/bash cd /opt/bitnami/kafka/bin ``` 需要注意的是，在执行前应确认 Kafka 已经作为服务运行于同一网络环境中[^4]。 --- ### 总结 以上方法提供了一种标准化的方式构建支持 HA 的分布式 Flink 集群环境。它不仅涵盖了基本组件部署还考虑到了扩展性和容错能力的需求。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值