- 博客(7)
- 收藏
- 关注
RSS订阅原创 大数据学习-Flink（算子）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录基本转换算子mapflatMapFilterKeyedStreamKeyBy多流转换算子SplitSelectConnectCoMap&CoFlatMapUnion基本转换算子map数据进来一个处理一个val streamMap = stream.map { x => x * 2 }flatMap来一个数据后应用后将数据打散可以有多个输出，一个输入对应多条输出记录val streamFlatMap
2022-02-28 22:36:20
1468
原创 大数据学习-Flink（Flink任务调度）
文章目录作业调度JobManager 数据结构作业调度Flink 通过 Task Slots 来定义执行资源。每个 TaskManager 有一到多个 task slot，每个 task slot 可以运行一条由多个并行 task 组成的任务流。 这样一条任务流由多个连续的 task 组成，比如并行度为 n 的 MapFunction 和 并行度为 n 的 ReduceFunction。需要注意的是 Flink 经常并发执行连续的 task，不仅在流式作业中到处都是，在批量作业中也很常见。图中，每
2022-02-23 21:14:12
1189
原创 大数据学习-Flink（二、Flink运行架构）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Flink运行时的四大组件作业管理器（JobManager）任务管理器（TaskManager）资源管理器（ResourceManager）分发器（Dispatcher）任务提交流程Flink运行时的四大组件作业管理器（JobManager）控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。JobManager 会先接收到要执行的应用程序，这个应用程序会包括：作业图（
2022-02-22 21:52:50
251
原创 大数据学习-Flink（一、Flink流式处理概览）
文章目录Flink 是什么为什么选择 Flink二、传统数据处理架构1.事务处理2. 分析处理流处理的演变1.有状态的流式处理2.lambda 架构3. FlinkFlink 的主要特点1.事件驱动（Event-driven）2.基于流的世界观3.分层APIFlink和Spark StreamingFlink 是什么Apache Flink is a framework and distributed processing engine for stateful computations o.
2022-02-14 22:21:19
2770
原创 需求的定义
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录何为需求收集需求保持好奇心，不要自作聪明使用口语化的对话收集需求的一份注意提示何为需求经济学中需求是在一定的时期，在每个价格水平下，消费者愿意并且能够购买的商品数量，那么对于数据部门的需求即为业务部门想从数据中能获得哪些有价值的‘产品’是‘消费者’愿意交换的。收集需求收集需求的首要恪守的原则是倾听保持好奇心，不要自作聪明收集需求的过程就是通过交流来捕获另一方的内心想法并将其整理提炼成具象化的事件或者结果，那么在这个过程
2022-02-10 22:00:48
414
原创 状态管理器
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录StateBackend的类别MemoryStateBackendFsStateBackendRocksDBStateBackendStateBackend的类别Flink的三种状态管理器：基于内存的MemoryStateBackend，基于文件系统的FsStateBackend，基于RockDB作为存储介质的RocksDBStateBackend。这三种类型的状态管理器都能有效地存储flink流式计算过程中产生的状态数据，
2022-02-09 21:47:00
997
原创 Checkpoints
Checkpoints检查点机制checkpoint开启和时间间隔指定exactly-once和at-least-once语义的选择Checkpoint超时时间检查点之间的最小时间间隔最大并行执行的检查点数量外部检查点failOnCheckpointingErrors检查点机制Fink中基于异步轻量级的分布式快照技术提供了Checkpoints容错机制，分布式快照可以将同一时间点Task/Operator的状态数据全局统一快照处理。Flink会在输入的数据集上间歇性地生成checkpoint barr
2022-02-08 21:51:33
1340
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人