super_wj0820的博客

参考：https://www.cnblogs.com/gaopeng527/p/4961701.htmlhttps://www.cnblogs.com/wq920/p/7099129.html

1. Spark Streaming运行原理与核心概念Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法...

本文主要整理实时组件（SparkStreaming VS Flink）容错及语义内容如下：消息系统或实时应用中的语义流处理应用如何保证 Exactly-Once 语义SparkStreaming 保证 Exactly-Once语义Flink 保证 Exactly-Once语义1. 消息系统或实时应用中的语义消息系统系统一般有以下的语义：At most once：消息可能丢失，...

此文不错參考：https://blog.youkuaiyun.com/b6ecl1k7BS8O/article/details/81350587

背景知识：Spark总结整理(一)：Spark内核架构（Spark从启动到执行的流程）Spark Streaming 总结整理(一)：Spark Streaming运行原理与核心概念1. 明确 Spark中Job 与 Streaming中 Job 的区别1.1 Spark Core一个 RDD DAG Graph 可以生成一个或多个 Job（Action操作）一个Job可以认为就是...