- 博客(5)
- 收藏
- 关注
RSS订阅原创 flink的window
｜flink-1.9 docs：Apache Flink 1.9 Documentation: Windows1. Flink是一种流式计算引擎，用于处理无界数据流。在处理无界流时，一种有效的方式是将无限的数据切割成有限的"数据块"，这就是窗口（Window）的概念。2. 在Flink中，窗口是用来处理无界流的核心概念。你可以将窗口想象成一个动态创建的数据存储桶，数据源源不断地流入这些存储桶。当某个时间点窗口需要关闭时，它停止收集数据、触发计算并输出结果。3. 窗口的时间范围以左闭右开的区间表示，例如，0~
2023-09-12 22:10:18
362
原创 flink的水位线和窗口
水位线在事件时间的世界中充当时钟的角色，是唯一的时间尺度。窗口闭合和定时器触发等操作都依赖水位线的大小来决定。水位线是一种特殊的事件，由程序员通过编程插入到数据流中，并随着数据流向下游传递。水位线的默认计算公式为：水位线 = 观察到的最大事件时间 – 最大延迟时间 – 1毫秒。不同算子可能看到不同大小的水位线，因为下游算子可能未接收到上游算子的水位线，导致下游算子的时钟落后于上游算子。耗时较长的操作可能阻塞水位线的传播，从而影响下游算子的计算和定时器触发。
2023-09-12 15:41:23
271
1
原创 Flink DataStream API
当没有提供连接器，也没有预先实现的方法时候，需要自定义addSink方法对应着一个“Sink”算子，主要就是用来实现与外部系统连接、并将数据提交写入的；addSink方法同样需要传入一个参数，实现的是接口。在这个接口中只需要重写一个方法invoke(),用来将指定的值写入到外部系统中。
2023-09-11 20:43:06
200
原创 Flink在yarn模式下任务提交流程
集群生命周期：Flink应用程序集群是一个专用的Flink集群，仅执行来自一个Flink应用程序的作业，而main()方法在集群上运行而不是客户端上运行。一旦作业完成，Flink作业集群将被关闭。JobManager具有与协调Flink应用程序的分布式执行相关的多项职责：它决定何时安排下一个任务（或一组任务），对已完成的任务或执行失败作出反应，协调检查点，并在故障时协调恢复，等等。Flink应用程序的作业可以提交到长时间运行的Flink会话集群、专用的Flink作业集群（已弃用）或Flink应用程序集群。
2023-09-11 17:52:48
377
原创 flink任务yarn模式部署
为了提供更好的资源隔离保证，单个作业模式使用可用的资源提供程序框架（例如YARN）为每个提交的作业启动一个独立的集群。yarn的高可用是启动一个JobManager，当这个Manager挂了之后，会利用yarn的重试次数来再次启动，yarn的重试机制是 JobManager的重启次数上限.每个应用程序创建一个集群可以被视为创建一个仅在特定应用程序的作业之间共享的会话集群，并在应用程序完成时关闭。允许提交包含多个作业的应用程序。作业执行的顺序不受部署模式的影响，而是受用于启动作业的调用的影响。
2023-09-11 14:29:00
293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人