Flink 批处理模式下的数据聚合：使用 NormalizedKeySorter 实现大数据排序

最新推荐文章于 2025-03-28 20:51:41 发布
最新推荐文章于 2025-03-28 20:51:41 发布
阅读量291 收藏 2
点赞数 1
CC 4.0 BY-SA版权
文章标签： 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BugCrusher/article/details/132386619
大数据 专栏收录该内容
183 篇文章 ¥59.90 ¥99.00
订阅专栏
本文介绍了Apache Flink在批处理模式下如何使用NormalizedKeySorter进行数据聚合和排序。NormalizedKeySorter利用归一化键进行数据排序，基于归并排序算法，适用于大规模数据集。示例代码展示了如何定义归一化键，使用groupBy、sortGroup和reduceGroup进行数据处理。

Flink 批处理模式下的数据聚合：使用 NormalizedKeySorter 实现大数据排序

在大数据处理中，数据聚合和排序是常见的操作。Apache Flink 是一个流式处理和批处理框架，提供了强大的数据处理能力。在 Flink 的批处理模式下，我们可以使用 NormalizedKeySorter 来实现高效的数据排序和聚合操作。本文将详细介绍 Flink 批处理模式下的数据聚合，并提供相应的源代码示例。

数据聚合是将多个数据元素合并为一个或多个汇总结果的过程。在批处理模式下，Flink 提供了丰富的转换操作和函数来支持数据聚合。其中，NormalizedKeySorter 是一个在 Map 端进行数据排序和聚合的关键组件。

NormalizedKeySorter 是 Flink 中的一个工具类，用于将输入数据根据指定的键进行排序。它使用了归一化键（Normalized Key）的概念，即将数据映射到一个可以进行比较的标准化表示。NormalizedKeySorter 基于归并排序算法，可以高效地处理大规模数据集。

下面是一个使用 NormalizedKeySorter 进行数据排序和聚合的示例代码：

import org.apache.flink
了解本专栏 订阅专栏 解锁全文
大数据Flink（八十五）：Window TVF 支持多维数据分析
Lansonli（蓝深李）的博客
09-21 623
这时，有离线 Hive SQL 使用经验的就会想到，如果有了 Grouping Sets，我们就可以直接用 Grouping Sets 将维度组合写在一条 SQL 中，写起来方便并且执行效率也高。对于经常需要对数据进行多维度的聚合分析的场景，您既需要对a列做聚合，也要对b列做聚合，同时要按照a、b两列同时做聚合，因此需要多次使用UNION ALL。CUBE会枚举指定列的所有可能组合作为GROUPING SETS，而ROLLUP会以按层级聚合的方式产生GROUPING SETS。也可以用于非窗口函数的场景。
【Flink】Flink 批处理模式Map端数据聚合 NormalizedKeySorter
九师兄
06-25 988
转载：Flink源码分析——批处理模式Map端数据聚合在flink的批处理模式下，数据的计算也有着两端的计算模型，这一点和MR、spark计算框架是类似的。，，这一过程的目的是将数据进行预聚合，减少中间的数据传输量，也减轻了reduce端数据计算的压力。在《Batch模式JobGraph的创建》中我们分析了在数据聚合的map端，数据最终会经过combiner算子处理，在batch模式下，chain在一起的算子都被封装成ChainedDriver，这个combiner算子就被封装成了SynchronousCh
Flink流处理案例：实时数据排序
AI天才研究院
01-25 1847
1.背景介绍 1. 背景介绍 Apache Flink是一个流处理框架，用于实时数据处理和分析。它可以处理大规模数据流，并提供低延迟、高吞吐量和强一致性等特性。Flink流处理框架支持多种数据源和接口，如Kafka、HDFS、TCP等，可以处理各种复杂的数据流操作，如窗口操作、连接操作、聚合操作等。 在实际应用中，Flink流处理框架可以应用于各种场景，如实时数据分析、实时监控、实时推荐等。...
Flink系列之：分组聚合
zhengzaifeidelushang的博客
12-17 1039
像大多数数据系统一样，Apache Flink支持聚合函数；包括内置的和用户定义的。用户自定义函数在使用前必须在目录中注册。聚合函数把多行输入数据计算为一行结果。例如，有一些聚合函数可以计算一组行的 “COUNT”、“SUM”、“AVG”（平均）、“MAX”（最大）和 “MIN”（最小）。对于流式查询，重要的是要理解 Flink 运行的是连续查询，永远不会终止。而且它们会根据其输入表的更新来更新其结果表。对于上述查询，每当有新行插入 Orders 表时，Flink 都会实时计算并输出更新后的结果。
Flink 06 聚合操作入门学习，真不难
happycao123的博客
10-15 1333
本文介绍了如何使用ProcessWindowFunction/AggregateFunction 完成一些聚合操作。通过对比两端代码，相信聪明的你已经体会到两者差异。再回到开头的问题，相信已经不是问题，信手拈来了。
利用bitmap实现uv指标多维度自由聚合实时计算-flink+starrocks
weixin_42774040的博客
02-13 2400
此需求对数据准确性要求较高。避免本身有较大误差的技术方案。如布隆过滤器，较大几率的hash碰撞等。但是目前可以接受flink的至少一次语义。以后力达精准一次。
【大数据】Flink + Kafka 实现通用流式数据处理详解
congge
10-27 1万+
Flink + Kafka 实现通用流式数据处理详解
Flink批处理调优指南
soso1968的博客
10-29 1668
本文为您介绍Flink批处理的一些基本原理和配置调优。作为支持流处理和批处理的统一计算框架，Flink能够同时处理两种不同的数据模式。尽管Flink在流处理和批处理模式下共享许多核心执行机制，但两种模式在作业执行机制、配置参数和性能调优方面存在一些关键差异。本文将专门针对Flink批处理作业，为您介绍其独特的执行机制、配置参数。通过深入理解这些差异，您将能够更加高效地对作业进行调优，以及排查和解决在使用Flink批处理作业中遇到的问题。
Flink 内容分享(十七)：基于Flink的“批处理”尝试
之乎者也·的博客
12-31 1864
Flink可以说是当下最流行的分布式流数据处理引擎。但我最近在尝试基于Flink实现数据的“微批处理”的过程中却屡屡碰壁，结果并不完美，但也对于Flink的keyBy，snapshot等机制有了更进一步的的体会，聊以记录下。需要优化的流处理作业（下称作业）中的消息处理需要满足以下几点：至少一次（at least once）的处理语义；按key保序；秒级时延。第一点基于Flink的checkpoint机制和kafka可设置消费offset的特性即可实现。
Flink中流式的各种聚合
weixin_45249411的博客
03-24 695
针对无界聚合算子，
《Flink应用实战》(二)--窗口函数聚合计算
一锅粥
05-23 2731
窗口计算是流式计算中常用的数据计算方式之一，通过按照固定时间或长度将数据流切分成不同的窗口，再对数据进行相应的聚合操作，得到一定时间范围内的统计结果，例如统计最近5分钟内某网站的点击数，此时，点击数据在不断产生，通过5分钟窗口将数据限定在固定时间范围内，就可以对该范围内的有界数据执行聚合，得到最近5分钟的网站点击数。 2、窗口计算函数分类 • Flink提供了四种类型的窗口计算函数，分别是ReduceFunction、AggregateFunction、Fol...
flink GROUPING SETS多维度聚合、设置Table state 到期时间
热门推荐
不是一枚开发
06-09 5万+
  在一个GROUP BY 查询中，根据不同的维度组合进行聚合。GROUPING SETS就是一种将多个GROUP BY逻辑UNION在一起。GROUPING SETS会把在单个GROUP BY逻辑中没有参与GROUP BY的那一列置为NULL值。空分组集意味着所有行都聚合到一个组中 代码实例：   在持续查询的过程中，由于用于分组的 key 可能会不断增加，因此计算结果所需要维护的状态也会持续增长。为了防止状态无限增长耗尽资源，Flink Table API 和 SQL 可以在表环境中配置状态的生存时间（
Flink流处理——Transform分组聚合
m0_57126456的博客
11-10 2629
1：map，flatMap，Filter package com.atguigu.transfrom; import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.functions.MapFunction; import org.apache.fl
Flink对keyBy汇总后的数据排序
xkxdqj的博客
03-02 4163
val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) env.setParallelism(1) val sourceStream = env.fromCollection(List( "a,1646150400000", "a,1646150403000",.
Flink中聚合算子介绍
tianmlin1的博客
03-27 1201
flink常见聚合算子介绍
flink 分组窗口聚合 与 窗口表值函数聚合 的区别
最新发布
chbxw
03-28 992
是两种不同的窗口处理方式，主要区别体现在语法结构、灵活性和适用场景上。根据业务需求和 Flink 版本选择合适的方案，复杂场景优先使用窗口表值函数。在 Apache Flink 中，
1、Flink批处理（DataSet API）- 基础概览和 DataSet API 编程指南
主要写大数据集群一线运维和学习工作经验
01-07 1086
Flink 中的 DataSet 程序是在数据集上实现转换的常规程序（例如，filtering, mapping, joining, grouping）。数据集最初是从某些源创建的（例如，通过读取文件或从本地集合）。结果通过 sink 返回，例如，sink 可以将数据写入(分布式)文件，或者写入标准输出(例如命令行终端)。Flink 程序在各种上下文中运行，独立运行或嵌入到其他程序中。执行可以在本...
Flink 批处理
daqu1314的博客
06-11 2188
1.flink source (1)文件数据源 val wordAgg: AggregateDataSet[(String, Int)] = env.readTextFile("./test.txt").flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1) wordAgg.print() (2)hdfs 数据源 val hdfsDS: DataSet[String] = env.readTextFile("hdfs://node01:8020/t
Flink学习笔记（七）：flink聚合函数
小白的专栏
08-10 4366
Flink的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数，可以用在多种场景的实时计算中，而且采用迭代方式，运行效率比较高。 一、接口 我们查看AggregateFunction接口可以看到它有三个参数 输入类型(IN) 累加器类型(ACC) 输出类型(OUT) @PublicEvolving public interface AggregateFunction<IN, ACC, OUT> extends Function, Serializable {
Flink技术解析：打造下一代大数据实时处理平台
"Flink-构建下一代大数据处理引擎" 在大数据处理领域，Apache Flink被广泛认为是构建下一代处理引擎的关键技术。Flink China社区线下 Meetup·上海站的分享资料中，由巴真主讲的《Flink-构建下一代大数据处理引擎》...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值