文章目录Flink介绍Flink简介为什么要用flinkFlink技术特点flink基本架构构建项目Flink 部署及运行Flink基本概念Flink DataStream操作1. 分布式流处理的基本模型2. Flink DataStream程序结构3.DataStream操作4. 理解KeyedStream检查点保存检查点目录结构从保存的检查点恢复保存点savepoint 和 checkpoint 区别触发保存点checkpoint执行流程Checkpoint Expire 过期Checkpoint 的配

原博客地址：https://www.cnblogs.com/rossiXYZ/p/12286407.html摘要对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。01问题关于Watermark，很容易产生几个问题Flink 流处理应用中，常见的处理需求/应对方案是什么?Watermark究竟应该翻译成水印还是水位线？Watermark本质是什么?Watermark是如何解决问题?下面我们就来简要解答

Flink程序编译都是通过的，但是进行Debug调试时，出现如下异常；java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/functions/source/SourceFunction at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at jav

https://zhuanlan.zhihu.com/p/269610943一 . 你在开发Flink任务时，有没有遇到过背压问题，你是如何排查的？1. 背压产生的原因背压常常出现在大促或者一些热门活动等场景中， 在上面这类场景中, 短时间内流量陡增导致数据的堆积，系统整体的吞吐量无法提升。2. 监控背压方法可以通过 Flink Web UI 发现背压问题Flink 的 TaskManager 会每隔 50 ms 触发一次反压状态监测，共监测 100 次，并将计算结果反馈给 JobManager

在分布式系统中，为了让每个节点都能够感知到其他节点的事务执行状况，需要引入一个中心节点来统一处理所有节点的执行逻辑，这个中心节点叫做协调者（coordinator），被中心节点调度的其他业务节点叫做参与者（participant）。接下来正式介绍2PC。顾名思义，2PC将分布式事务分成了两个阶段，两个阶段分别为提交请求（投票）和提交（执行）。协调者根据参与者的响应来决定是否需要真正地执行事务，具体流程如下。提交请求（投票）阶段协调者向所有参与者发送prepare请求与事务内容，询问是否可以准备事务提

1. ProcessFunctionProcessFunction 函数是低阶流处理算子，可以访问流应用程序所有（非循环）基本构建块：事件 (数据流元素)状态 (容错和一致性)定时器 (事件时间和处理时间)ProcessFunction 可以被认为是一种提供了对 KeyedState 和定时器访问的 FlatMapFunction。每在输入流中接收到一个事件，就会调用来此函数来处理。...

一. Flink的引入这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大数据的计算引擎分成了...

kafka之consumer参数auto.offset.reset 0.10+https://blog.youkuaiyun.com/dingding_ting/article/details/84862776https://blog.youkuaiyun.com/xianpanjia4616/article/details/84347087kafka-0.10.1.X版本之前: auto.offset.reset...

Flink Kafa Connector是Flink内置的Kafka连接器，它包含了从Kafka Topic读入数据的Flink Kafka Consumer以及向Kafka Topic写出数据的Flink Kafka Producer，除此之外Flink Kafa Connector基于Flink Checkpoint机制提供了完善的容错能力。本文从Flink Kafka Connector的基...