weixin_36630761的博客

直接上图吧，感觉这样东西可以紧凑些，大家一起进步~

很常见的一个问题：你们连接kafka用的是什么方式？目前市面上来说一般都是这个：也就是我们常说的直连模式。直连模式有什么好处呢？最大的好处莫过于我们可以很方便的来控制任务的并行度。具体是如何做到的呢？我们来分析一下源码就一目了然了。class DirectKafkaInputDStream[K, V]直接定位到主角DirectKafkaInputDStream 我们看下层级结构：他是InputDstream的一个具体实现。我们先看下 compute这个方法..

原文链接：https://www.jianshu.com/p/aadd3803debb1、引入Backpressure的原因默认情况下，Spark Streaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batch processing time > batch interval的情况，其中batch processing time为实际计算一个批次花费时间，batch interval为Streaming应用设置的批处理间隔。这意味着Spark Strea.

所有的入口就是：StreamingContext.start()这里的关键点就是： 启动了调度，调用了JobScheduler.start()def start(): Unit = synchronized { state match { case INITIALIZED => startSite.set(DStream.getCreationSite()) StreamingContext.ACTIVATION_LOCK.synch.