Stop Spark Streaming On YARN Gracefully

一、问题

在YARN上停止Spark Streaming的方式比较粗暴“yarn application -kill [applicationId]”。

命令执行后，YARN在分配给Streaming App的container上执行“kill -15”命令结束进程，不会考虑Streaming App的执行情况。
虽然spark-yarn的ApplicationMaster在启动时加入了shutdownHook执行sc.stop()，但是这也只能使Spark Context完成关闭工作。Streaming Context中的receiverTracker、jobGenerator、jobExecutor等组件并不会正常关闭。
当然，如果你启用了checkpoint和writeAheadLog（以ReliableKafka为例），这并不会造成数据的丢失。但是正在执行的RDD中的数据在应用恢复后会被再处理一次，造成数据的重复处理。如果，你的Streaming App对数据的准确性要求比较高，那就需要自己实现一个Stop Gracefully的方法。

二、解决方案

调用SteamingContext类的stop方法是关闭Streaming Context最好的方法。我们要做的就是在关闭App的时候调用执行这个方法。

一个思路是在shutdownHook中添加ssc.stop()。但是这个方法行不通。原因是执行yarn application -kill命令后，YARN回收Application的container的过程是异步进行的，不一定按照先master container后worker container的顺序。当触发Spark Driver上的shutdownHook时，exectuor上的receiver可能已经被强行退出了。
另外，container在kill进程的时候先执行kill -15。如果一段时间内（默认250ms）进程仍未结束，则kill -9。这段时间可能不够StreamingContext处理完已接受的数据。

另外一种解决方案就是在Streaming App上实现一个服务端，在接到请求时执行ssc.stop。
服务端实现起来比较简单，唯一要考虑的问题是在yarn-cluster部署模式下如何获取服务端的IP地址。我的方法是将服务端信息（IP和端口）保存在了hdfs上。

我用socketServer实现了一个简单的服务端和客户端。不嫌弃的话可以参考一下~
github：https://github.com/hammertank/spark-utils/blob/master/src/main/scala/my/spark/streaming/