dwjf321的博客

1. Flink流处理API1.1 Environment1.1.1 getExecutionEnvironment创建一个执行环境，表示当前执行程序的上下文。如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。val env: StreamExecutionEnvironment = Stream

文章目录1. Standalone 模式1.1 安装2. YARN 模式2.1 Flink On Yarn3. Session Cluster4. Per-Job Cluster1. Standalone 模式1.1 安装解压缩 flink-1.10.1-bin-scala_2.12.tgz，修改名称为 flink，进入conf目录中。修改flink/conf/flink-conf.yaml文件jobmanager.rpc.address: hadoop102修改 flink/conf

文章目录1.1 初始 Flink1.2 Flink 的重要特点1.2.1 事件驱动型(Event-driven)1.2.2 流与批的世界观1.2.3 分层 api1.1 初始 FlinkFlink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林 的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的 代 码被 复制 并捐赠 给了 Apache 软件基 金会， 参加 这个 孵化项 目的 初始 成员

文章目录1.1 搭建 maven 工程 flink-scala1.1.1 pom文件1.1.2 添加 scala 框架 和 scala 文件夹1.2 批处理 WordCount1.3 流处理 WordCount1.1 搭建 maven 工程 flink-scala1.1.1 pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xm

文章目录1.1 Flink 运行时的组件1.2 任务提交流程1.3 任务调度原理1.3.1 TaskManger 与 Slots1.3.2 程序和数据流 (DataFlow)1.3.3 执行图 (ExecutionGraph)1.3.4 并行度（Parallelism）1.3.5 任务链 (OperatorChains)1.1 Flink 运行时的组件Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作： 作业管理器（JobManager）、资源管理器（ResourceMa

文章目录1. Window 概述2. Window类型2.1 滚动窗口（Tumbling Windows）2.2 滑动窗口（Sliding Windows）2.3 会话窗口（Session Windows）3.1 TimeWindow3.1.1 滚动窗口3.1.2 滑动窗口（SlidingEventTimeWindows）3.2 CountWindow3.2.1 滚动窗口3.2.2 滑动窗口3.3 Window Function3.4 其它可选API1. Window 概述streaming流式计算是一

文章目录1. Flink 中的时间语义2. EventTime的引入3. Watermark3.1 基本概念3.2 WaterMark的引入3.2.1 周期性生成 Watermark3.2.2 间断式生成 Watermark4. EvnetTime 在 window 中的使用4.1 滚动窗口（TumblingEventTimeWindows）4.2 滑动窗口（SlidingEventTimeWindows）4.3 会话窗口（EventTimeSessionWindows）1. Flink 中的时间语义在

文章目录1. KeyedProcessFunction2. TimerService和定时器 (Timers)3. 侧输出流 (SideOutput)4. CoProcessFunction我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如 MapFunction 这样的 map 转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStream API 提供了一系列的 Low-Level 转换算子。可以访问时间戳、watermark 以及注

文章目录1. 有状态的算子和应用程序1.1 算子状态 (operator state)1.2 键控状态 (keyed state)2. 状态一致性2.2 端到端 (end-to-end) 状态一致性3. 检查点 (checkpoint)3.1 Flink的检查点算法3.2 Flink+Kafka如何实现端到端的 exactly-once 语义4. 选择一个状态后端4.1 MemoryStateBackend4.2 FsStateBackend4.3 RocksDBStateBackend流式计算分为无状态

文章目录1. 整体介绍1.1 什么是 Table API 和 Flink SQL1.2 需要引入的依赖2. API调用2.1 基本程序结构2.2 创建表环境2.3 在 Catalog 中注册表2.3.1 表 (Table) 的概念2.3.2 连接到文件系统（Csv格式）2.3.3 连接到 Kafka2.4 表的查询2.4.1 Table API 的调用2.4.2 SQL查询2.5 DataStream 转成表2.5.1 代码表达2.5.2 数据类型与 Table schema 的对应2.6 创建临时视图 (

flink sql flink 整合 hive

文章目录1. CEP概念2. CEP的主要特点3. Pattern API1.3.1 输入事件流的创建1.3.2 Pattern的定义1.3.2.1 设置循环次数1.3.2.2 定义条件1.3.2.3 模式序列1.3.3 Pattern检测1.3.4 选取结果4. CEP编程开发案例实战——银行APP 登录异常检测4.1 使用State编程实现4.2 使用CEP编程实现5. Flink CEP综合案例实战——传感器温度检测6. Flink CEP综合案例实战——监控订单状态1. CEP概念CEP 是 C