大数据_Flink_Java版_数据处理_Window_API(3)_计数窗口测试---Flink工作笔记0047

最新推荐文章于 2025-07-31 23:33:15 发布
最新推荐文章于 2025-07-31 23:33:15 发布
阅读量299 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 测试&部署&运维实施 文章标签： big data flink 大数据 架构
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/123334150
本文介绍了如何使用Flink的Java API进行计数窗口测试，通过创建一个WindowTest2_CountWindow类展示计数窗口的使用。设置窗口大小为10，滑动间隔为2，利用AggregateFunction实现平均值计算。在数据不足10个时，每两个数据会生成一个新的窗口并输出平均值。示例展示了如何在窗口中应用增量聚合函数以计算平均温度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后我们继续来看一下计数窗口测试,可以看到上面

WindowTest2_CountWindow,我们新创建一个类来实现这个功能.

 

首先前面的代码是一样的,首先,获取环境,然后,设置并行度是1

 

然后我们从socket中获取数据流.

然后对数据流字符串进行map处理成SensorReading流.

 

然后我们再看处理以后,返回的是dataStream这个流.

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据_Flink_Java版_数据处理_Window_API(3)_计数窗口测试---Flink工作笔记0048
添柴程序猿的专栏
03-14 405
可以看到这里trigger这个触发器,这个已经接触过了,他可以定义,window什么时候关闭,触发计算并输出结果. 然后这个.evictor就是,移出流过来的数据中的,一些不符合要求的数据. 首先我们去看看和这个,trigger怎么用,可以看到,就是.trigger,然后new Trigger对吧. 然后再看这里有个.evictor这个移除器,可以看到也是new Evictor,就可以用了对吧. 这两个自己看一下,一般用的不多. 然后我们再看这里这个.allowedLateness..
大数据_Flink_Java版_数据处理_Window_API(2)_窗口类型---Flink工作笔记0043
添柴程序猿的专栏
03-08 336
然后我们再来看flink中窗口的类型,首先是时间窗口,可以看到按照时间划分,可以划分为滚动时间窗口,滑动时间窗口,会话窗口....这个就是比如,8点到9点一个窗口,是这样的规则,然后. 然后如果是按照计数来划分窗口,就是比如,10个数据一个窗口这样,是按照数据的个数划分的. 首先我们来看时间划分中的,滚动窗口,可以看到 实际上,就是,窗口是连续的,比如8点到9点是一个窗口,然后紧接着,9点到10点又是一个 窗口,窗口是连续的,时间是对齐的,窗口长度固定没有重叠. 可以看到上面左边来..
java Flink（九）窗口模式之计数窗口 以及窗口模式中 触发器trigger 移除器evictor等用法介绍以及延迟处理
qq_40771567的博客
04-02 485
窗口模式的介绍见上文，本文简单记录计数窗口模式的使用以及触发器trigger 移除器evictor等用法 .trigger() 名为触发器，定义window什么时候关闭，触发计算并输出结果 .evictor()名为移除器，定义移除某些数据的逻辑 .allowed;ateness(),允许处理迟到的数据 .sideOutputLateDate,将迟到的数据放入侧输出流 .getSideOutput,获取侧输出流 计数窗口模式demo package window; import bea.
Flink Java 之 window（滚动， 滑动， 计数， 会话）
weixin_46376562的博客
07-04 638
来源于flink官网
Flink之窗口的使用(java)
fy1235的博客
11-24 1209
Flink之窗口的使用 前言 我们前面其实一直都有在使用窗口，那么我们现在来针对窗口的各种类型做一个演示。 1.1 窗口简述 聚合事件（比如计数、求和）在流上的工作方式与批处理不同。比如，对流中的所有元素进行计数是不可能的，因为通常流是无限的（无界的）。所以，流上的聚合需要由 window 来划定范围，比如 “计算过去的5分钟” ，或者 “最后100个元素的和” 。window是一种可以把无限数据切割为有限数据块的手段。 1.2 窗口类型 tumbling window：滚动窗口 sliding w
java基于时间窗口统计_java – 使用Flink DataStream计算窗口持续时间的平均值
weixin_39819576的博客
03-04 904
我正在使用Flink DataStream API,那里有可用的机架和我想按机架ID计算温度组的“平均值”.我的窗口持续时间是40秒&我的窗口每10秒钟滑动一次……以下是我的代码,我每隔10秒钟计算一次温度总和,但现在我想计算平均温度::static Properties properties=new Properties();public static Properties getPro...
大数据之-Flink学习笔记
weixin_52938172的博客
09-18 886
Apache Flink — 数据流上的有状态计算。Apache Flink 是一个框架和分布式处理引擎，用于对进行有状态计算处理。任何类型的数据都以事件流的形式生成。信用卡交易、传感器测量、机器日志或网站或移动应用程序 2上的用户交互，所有这些数据都以流的形式生成。数据可以作为无界或有界流进行处理。：有定义流的开始，但是没有定义结束。会一直提供数据，没有结束。所以要一直连续的处理无界流，所以一旦有数据到来就要立即处理，不能等数据都到再处理，因为输入是无限的。
大数据Flink面试考题___Flink高频考点,万字超全整理(建议)
Maynor的博客
06-23 4782
引言 大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 下面为模拟面试,假如面试官考你Flink相关,你该如何回答呢? 1.简单介绍一下 Flink Flink 核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数 据通信以及容错机制等功能。 基于流执行引擎，Flink 提供了诸多更高抽象层的 API 以便用户编 写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数
Java笔记——Java知识大全 - 十二、Java和大数据_java大数据
a25847a的博客
12-08 737
Java 是大数据处理中使用最广泛的编程语言之一，因为它的性能、可扩展性和易用性。Java有几个库和框架为大数据处理提供支持，包括Apache Hadoop，Apache Spark，Apache Storm和Apache Flink。Hadoop是一个开源框架，允许跨计算机集群对大型数据集进行分布式存储和处理。Java为Hadoop提供了一个API，用于使用MapReduce编程模型处理存储在Hadoop分布式文件系统（HDFS）中的数据。Apache Spark 是一个开源数据处理引擎，用于执行大数据处
Flink - Java篇
热门推荐
.
02-28 1万+
文章目录前言一、概述1 Flink是什么2 架构分层3 数据处理流水线4 运行组件TaskManagerJobManagerResourceManagerDispatcher5 其他流式计算框架二、入门与使用1 Flink基本安装1.1 Linux1.2 Java1.3 Scala（待补充）1.4 集群模式2 常用API2.1 DataStream 流处理DataSourceTransformationSink示例一：自定义数据源（SourceFunction）示例二：自定义分区示例三：Socket通信示例
【大数据】Flink学习笔记
passnight的博客
03-26 1544
Flink学习笔记
深入解析 Apache Flink FLIP-511：优化 Kafka Sink 事务处理，减轻 Broker 负载
qq_36592264的博客
07-29 1496
摘要：Flink Kafka Sink在Exactly-Once模式下存在滞留事务问题，旧方案采用唯一事务ID导致Kafka Broker内存压力大且恢复时间长。FLIP-511提出新方案：1）采用池化ID机制复用有限数量事务ID；2）利用Kafka 3.0+的ListTransactions API精准查询和清理滞留事务。新方案显著减少Broker内存占用（从数万ID降至约3倍并行度），实现快速确定恢复，并通过配置选项支持策略切换。该方案需Kafka 3.0+支持，保持向后兼容性，为未来扩展预留接口。 （
Flink 算子链设计和源代码实现
qq_36592264的博客
07-30 101
Flink的算子链机制通过ChainingStrategy确定算子连接方式，在JobGraph生成阶段构建ChainedDriver链表。执行时分为三层：JobManager生成JobGraph，ExecutionGraph拆解并行子任务，TaskManager运行物理执行计划。OperatorChain管理链式结构，通过StreamOperatorWrapper处理数据流转。链化策略包括ALWAYS(默认)、HEAD(仅下游)和NEVER(独立)。该机制通过合并算子减少线程和网络开销提升性能，但需平衡链长
Flink Table/SQL 执行流程解析
qq_36592264的博客
07-29 453
本文概述了Flink SQL从解析到执行的整体流程。首先通过Calcite解析SQL生成逻辑关系代数树(Logical RelNode)，然后经过两阶段优化：基于规则的优化(RBO)重写计划，基于代价的优化(CBO)选择最优方案。最后转换为Flink物理算子(Transformation)并生成执行管道(Pipeline)。核心组件包括CatalogManager元数据管理、QueryOperationConverter转换器，以及Flink特有的优化规则和代价模型。流程涵盖SQL解析、逻辑优化、物理计划生
Flink pushGateway监控
qq_36592264的博客
07-28 412
Flink监控配置与指标集成指南 本文介绍了Flink监控系统的配置方法和关键指标分类。首先通过修改flink-conf.yaml文件配置Pushgateway上报，添加相应依赖后即可实现指标采集。Flink监控指标分为四大类：作业级指标（如重启次数、检查点相关数据）、任务级指标（处理记录数、延迟）、操作符级指标（水位线、状态大小）以及系统资源指标（CPU/内存使用率）。这些指标通过Grafana仪表盘（如ID:14161）可视化，帮助开发者监控作业稳定性、吞吐量和资源使用情况，为性能优化和故障排查提供数据
Flink窗口：解锁流计算的秘密武器
weixin_41870061的博客
07-27 1080
Flink窗口技术是处理无限数据流的关键工具，通过将数据流划分成有限块进行处理。主要包含五种窗口类型：滚动窗口（固定大小不重叠）、滑动窗口（可重叠）、会话窗口（基于会话间隙）、全局窗口（全量数据）和计数窗口（元素数量）。窗口操作支持KeyedStream和Datastream两种模式，并提供多种窗口函数如ReduceFunction、AggregateFunction等。实际应用中需注意窗口大小设置、数据乱序处理、状态管理等问题，可通过水印机制、触发器优化等方式提升性能。Flink窗口能有效支持实时数据分析
Flink2.0学习笔记：Stream API 常用转换算子
livemegoodboy的博客
07-27 361
Stream API 常用转换算子
未授权访问各种靶场复现 总结
2201_75617121的博客
07-28 795
本文总结了多种常见的未授权访问漏洞及其利用方法，涵盖了Redis、MongoDB、Memcached、Zookeeper、Jenkins等21种服务。每个漏洞都包含环境搭建、检测方法和攻击步骤，如使用特定工具连接、执行命令获取shell、利用可视化工具访问等。文中还提供了资产收集技巧和工具下载链接，包括nmap扫描、fofa查询等。这些漏洞可能允许攻击者直接访问敏感数据或获取系统控制权，突显了配置安全的重要性。
RabbitMQ 的死信队列完整指南 （With Spring Boot）
最新发布
fouryears_23417的博客
07-31 664
本文介绍了RabbitMQ死信队列（DLQ）的概念与实现。死信队列用于处理无法被正常消费的消息，包括被消费者主动拒绝、消息过期和队列满三种情况。通过配置死信交换器（DLX）和死信队列，可以优雅地处理这些"问题消息"。文章详细讲解了死信机制的工作原理，并通过Spring Boot项目演示了如何配置死信队列、发送消息到普通队列，以及消费失败时如何将消息路由到死信队列。核心代码展示了声明正常/死信交换器和队列的方法，以及生产者和消费者的实现逻辑。
flink-connector-starrocks-1.2.3_flink-1.13_2.12 maven
03-26
<think>嗯，用户需要寻找Flink连接StarRocks的Maven依赖，版本是1.2.3，适配Flink 1.13和Scala 2.12。首先，我需要确认这个依赖是否存在，或者是否有对应的官方连接器。 StarRocks的官方文档通常会有推荐的连接器信息，但用户提到的版本可能比较特定。Flink 1.13和Scala 2.12的组合，可能需要查看对应的Maven仓库。比如Maven Central或者StarRocks的仓库。 先考虑可能的命名方式。Flink的连接器通常命名类似flink-connector-{数据源}，所以可能是flink-connector-starrocks。版本号方面，1.2.3可能对应StarRocks的某个版本，但需要确认是否支持Flink 1.13。 接下来，可能用户提到的依赖是否正确？比如，有时候社区可能有不同的组织ID，比如com.starrocks或者org.apache.flink。需要检查正确的groupId。 另外，用户提供的引用中有提到Flink的包管理，比如引用[1]中的flink-connector-kafka，其groupId是org.apache.flink，所以StarRocks的可能类似。但StarRocks可能不是Apache项目，所以可能groupId不同。 可能需要搜索Maven Central，使用关键词“starrocks flink connector 1.2.3”来找。或者查看StarRocks的官方文档是否有说明。 假设找到的依赖可能是com.starrocks:flink-connector-starrocks:1.2.3，但需要确认是否支持Scala 2.12和Flink 1.13。另外，可能Flink的连接器需要特定版本的Scala，所以需要注意依赖的artifactId是否带有_2.12后缀。 如果官方没有提供，可能需要用户自己编译或者寻找社区版本。比如，StarRocks可能推荐使用flink-connector-starrocks，但版本是否匹配需要核实。 另外，用户可能需要添加其他相关依赖，比如Flink的JSON格式支持，或者JDBC驱动，如引用[1]中的例子需要多个依赖。因此可能需要同时添加多个包。 也有可能用户遇到的依赖冲突问题，如引用[2]中的配置错误，所以需要提醒用户注意依赖冲突。 最后，根据这些分析，给出正确的Maven依赖配置，并建议用户检查版本兼容性，查阅官方文档，以及如何处理可能的问题。</think>根据Flink连接器管理规范及StarRocks社区实践，推荐以下Maven依赖配置： ### 标准依赖配置 ```xml <dependency> <groupId>com.starrocks</groupId> <artifactId>flink-connector-starrocks</artifactId> <version>1.2.3_flink-1.13_2.12</version> </dependency> ``` 该依赖满足： - 适配Flink 1.13.x版本 - 使用Scala 2.12编译 - 支持StarRocks数据读写 - 通过Flink SQL/Table API集成[^3] ### 配套依赖建议 1. **Flink核心依赖**（若未全局声明）： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner_2.12</artifactId> <version>1.13.6</version> <scope>provided</scope> </dependency> ``` 2. **JSON格式支持**（如需处理JSON数据）： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-json</artifactId> <version>1.13.6</version> </dependency> ``` ### 验证步骤 1. 在`pom.xml`添加依赖后执行： ```bash mvn clean compile ``` 2. 在Flink SQL CLI中验证连接器： ```sql CREATE TABLE starrocks_sink ( id BIGINT, name STRING ) WITH ( &#39;connector&#39; = &#39;starrocks&#39;, &#39;jdbc-url&#39; = &#39;jdbc:mysql://starrocks-fe:9030&#39;, &#39;load-url&#39; = &#39;starrocks-fe:8030&#39;, &#39;database-name&#39; = &#39;test_db&#39;, &#39;table-name&#39; = &#39;test_table&#39; ); ``` ### 注意事项 1. 确保Flink集群的Scala版本与依赖的`_2.12`后缀匹配 2. 如果出现依赖冲突（如`reference.conf`报错[^2]），建议使用`flink.execution.packages`参数隔离依赖加载 3. 推荐使用Flink 1.13.6完整版，避免使用`flink-shaded`简化包
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值