小道的博客

Flink CDC

Flink日志采集到Kafka,ELK实现可视化

Flink知识点

  复杂事件处理（Complex Event Processing，CEP）  Flink CEP是在 Flink 中实现的复杂事件处理（CEP）库  CEP 允许在无休止的事件流中检测事件模式，让我们有机会掌握数据中重要的部分  一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据 —— 满足规则的复杂事件  目标：从有序的简单事件流中发现一些高阶特征  输入：一个或多个由简单事件构成的事件流  处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件  输出：满

Table API 和 Flink SQL

Flink是一个分布式大数据计算引擎，可对有限流和无限流进行有状态的计算，支持Java API和Scala API、高吞吐量低延迟、支持事件处理和无序处理、支持一次且仅一次的容错担保、支持自动反压机制、兼容Hadoop、Storm、HDFS和YARN。(1) DataSource是指数据处理的数据源，可以是HDFS\Kafka\Hive等；(2) Transformations是指对数据的处理转换的函数方法；

1、Flink Local模式部署Ⅰ、依赖环境：  linux机器  jdk1.8及以上【配置JAVA_HOME环境变量】Ⅱ、下载地址  https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27-scala_2.11.tgzⅢ、local模式快速安装启动  (1)解压：...

1、Flink DataStreamAPIⅠ、DataStream API 之 Data Sources部分详解  source是程序的数据源输入，你可以通过StreamExecutionEnvironment.addSource(sourceFunction)来为你的程序添加一个source。  flink提供了大量的已经实现好的source方法，你也可以自定义source  通过实现s...

  广播变量允许编程人员在每台机器上保持1个只读的缓存变量，而不是传送变量的副本给tasks；  广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记住，不应该修改广播变量，这样才能确保每个节点获取到的值都是一致的；  一句话解释，可以将广播变量理解为是一个公共的共享变量，我们可以把一个dataset 数据集广播出去，然后不同的task在节点上...

  我们前面写的word count的例子，没有包含状态管理。如果一个task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义上(at least once, exactly once)，Flink引入了state和checkpoint。  首先区分一下两个概念，state一般指一个具体的task/operator的状态【state数据默认保存...

一、Window(窗口)  聚合事件（比如计数、求和）在流上的工作方式与批处理不同。比如，对流中的所有元素进行计数是不可能的，因为通常流是无限的（无界的）。所以，流上的聚合需要由 window 来划定范围，比如 “计算过去的5分钟” ，或者 “最后100个元素的和” 。 window是一种可以把无限数据切割为有限数据块的手段。 窗口可以是 时间驱动的 【Time Window】（比如：每30...

  Flink的每个TaskManager为集群提供slot。 slot的数量通常与每个TaskManager节点的可用CPU内核数成比例。一般情况下你的slot数是你每个节点的cpu的核数。  一个Flink程序由多个任务组成(source、transformation和 sink)。 一个任务由多个并行的实例(线程)来执行， 一个任务的并行实例(线程)数目就被称为该任务的并行度。...

  Kafka中的partition机制和Flink的并行度机制深度结合  Kafka可以作为Flink的source和sink  任务失败，通过设置kafka的offset来恢复应用  setStartFromGroupOffsets()【默认的消费策略】 默认读取上次保存的offset信息; 如果是应用第一次启动，读取不到上次的offset信息，则会根据这个参数auto.offs...