啥也不会的博客

前言JobManager 用于协调每个Flink任务的调度和资源管理。默认情况下，每个Flink集群只有一个JobManager实例。那么就意味着存在单点故障。如果JobManager崩溃，就不能提交新的任务，且运行中的任务也会失败。JobManager 高可用可以在JobManager挂掉后，恢复JobManager，从而消除单点故障。Flink独立部署和部署在Yarn上都可以使用JobManager高可用，生产环境中大多是部署在yarn上的。基于Yarn的JobManager高可用任然只

报错flink消费kafka时正常，但是向kafka生产消息时产生报错：java.lang.NoClassDefFoundError: org/apache/kafka/common/errors/InvalidTxnStateException排错开始以为是jar包冲突导致，因为项目中即用到了kafka-clients，也用到flink-connector-kafka_2.11，分别排除两个依赖下的kafka-clients。 <dependency> &lt

目录Flink API概述两套方案的区别两者在编译与执行的区别两者在优化SQL语句时的区别如何使用Table API入门导入依赖代码结构创建TableEnvironment创建表从外部关系型数据库中创建表标识符查询表使用table API使用SQLTable sink将表写到外部系统与DataStream和DataSet API集成将table转换成DataStream或DataSetData Types映射Table Schema

Flink中的状态flink状态是什么？在工作流中是如何参与运作的？flink状态的类型？算子状态？作用域为限定算子任务，即仅当前算子可以访问。算子状态的数据结构？列表状态 、联合列表状态、广播状态...

目录普通函数类、富函数类、底层函数类三者的区别底层函数底层函数类别以KeyedProcessFunction为例在底层函数中将元素输出至侧输出流在底层函数中使用定时器计时器计时器合并普通函数类、富函数类、底层函数类三者的区别普通转换函数：仅能获取当前元素和聚合结果。富函数：在普通函数之上还有生命周期方法以及运行时上下文对象，能进行状态编程，但不能获取时间戳和watermark等底层函数：在富函数之上，还能获得时间相关的信息，如时间戳和watermark。.

三种时间概念在谈watermark之前，首先需要了解flink的三种时间概念。在flink中，有三种时间戳概念：Event Time 、Processing Time 和 Ingestion Time。其中watermark只对Event Time类型的时间戳有用。这三种时间概念分别表示：Processing time处理时间，指执行算子操作的机器的当前时间。当基于处理时间运行时，所有关于时间的操作（如时间窗口）都将使用执行算子操作的机器的本地时间。例如，当时间窗口为一小时时，如果应用程序在9:

概述Windows是处理无限流的核心。是一种切割无限数据为有限块进行处理的手段。Windows将流分成有限大小的“buckets”，我们可以在其上应用计算。窗口式Flink程序的一般结构如下所示。第一个代码段指的是键控流，第二个代码段指的是非键控流。两者唯一的区别是keyBy(...)之后调用window(...)的称为成为键控流；DataStream直接调用windowAll(...)的称为非键控流。Keyed Windowsstream .keyBy(...)

1.导入依赖<!-- https://mvnrepository.com/artifact/org.apache.bahir/flink-connector-redis --><dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version>

Flink本身没有提供了kafka sink接口，需要导入相关依赖才可以使用。依赖： <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka-0.11 --> <dependency> <groupId>org.apache.flink</groupId> <arti

前言本文不介绍Flink简介以及其架构、特性等，仅是本人在学习flink过程中对代码方面做的一些笔记，如有不正确之处，欢迎指出。Flink之WordCount学习大数据计算框架，敲一段代码实现WordCount，就像学习编程语言时敲一个Hello word一样，没啥好说的，直接上代码(scala)。 // 1.创建流处理环境 val env = StreamExec...