m0_47231659的博客

DataStream API 四 之 Flink DataStream编程1.分布式流处理基本模型2.流应用开发步骤3.数据类型4. Connector5. Execution environment6. 参数传递7.配置并⾏度8.Watermark9.Checkpoint10.State11. Data Source11.111.2 自定义Source12.Transformations13.Window13.1窗⼝处理函数13.2 window /区间 Join13.3 Data Sink1.分布

Flink Streaming SQL0.核心概念0.1 流 VS 表0.2 动态表0.3 流表⼆像性1.处理流程1.1流转换为动态表1.1.1 追加模式1.1.2 更新模式1.2 动态表的查询1.2.1 连续查询1.2.3 动态表转换为流2. Flink Stream SQL 编程2.1 开发流程2.2 TableEnvironment2.3 Catalog2.4 数据类型2.5 TableSource( 数据源)2.6 DDL2.7 Connector & Formats2.8 DML2.9 T

Flink运⾏时原理深度分析一 Flink Runtime 整体架构二 Flink系统架构2.1 RPC2.1.1RPC角⾊2.1.2 源码方法三 Flink任务执⾏3.1 任务链（task chaining）3.2 Task Slot 和资源3.3 SlotSharingGroup 与 CoLocationGroup3.4 执⾏图（DAG）3.5 逻辑调度四 Flink任务调度4.1 作业状态4.2 物理调度五 Flink 内存管理机制5.1内存模型5.2 内存设置5.3 内存管理5.4 序列化⽅案5.4

Flink 状态管理和容错一 有状态的计算1.1 原生方式1.2 托管方式1.2.1keyed state1.2.1.1 ValueState1.2.1.2 ListState1.2.1.3 ReducingState1.2.1.4 MapState一 有状态的计算状态存在的两种⽅式1.1 原生方式1.2 托管方式1.2.1keyed state保存state的数据结构1.2.1.1 ValueState1.2.1.2 ListState1.2.1.3 ReducingState

@[TOC](DataStream API (三)-Windows 窗口计算)Windows Assigner二级目录三级目录Windows FunctionTrigger 窗口触发器Evictors 数据剔除器延迟数据处理连续窗口计算Windows 多流合并

时间概念 与 Watermark一.时间概念指定二.EventTime 和 Watermark2.1 指定Timestamps 生成 Watermark2.1.1 在 SourceFunction 中2.1.2 用 Flink自带的 Timestamp Assigner2.1.2.1 用 Ascending Timestamp Assigner2.1.2.2 用 固定时延间隔的 Timestamp Assigner2.1.3 自定义Timestamp Assigner2.1.3.1 用 Periodic W

DataStream 编程模型一.DataSource1.1 内部数据源1.1.1 文件 数据源1.1.2 Socket 数据源1.1.3 集合 数据源1.2 外部数据源1.2.1 数据源连接器1.2.2 自定义数据源连接器二.DataStream Translate2.1 Single-DataStrem2.1.1 Map2.1.2 FlatMap2.1.3 Filter2.1.4 KeyBy2.1.5 Reduce2.1.6 Aggregations2.2 Multi-DataStrem2.2.1 Un