mizui_i的博客

一.架构设计 架构设计图 各层及相关术语说明 物理层 解决flink的部署模式的问题 支持多种部署模式:本地,集群,云及k8s 用户可以根据不同的场景选择不同的部署模式 核心层 是flink的核心实现层,负责为上层的接口提供服务 Runtime flink的核心计算 Optimizer 负责任务的优化 Stream Buider 负责对任务进行DAG优化 API层 面向用户,负责更好的用户开发体

一.产生背景 实时流数据增多 : 互联网应用快速发展,实时流数据日益增多 价值更大: 实时流数据的处理和挖掘带来的价值比离线数据处理要多 大厂需求 : 各大互联网厂商需要一个能够快速响应和处理大规模实时流数据的技术 其他流处理引擎不能够满足需求 : storm/jstorm,sparkstreaming等 优秀的流处理引擎要求 低延时,高吞吐,容错性好,窗口时间语义化,编程效率高,运行效果好 storm/jstorm 优点 低延时 缺点 其他的都差一些 sparkstreaming 优点 高吞吐,容错性好