香宝的私房小厨

1，引用一段官网介绍 spark Streaming是Spark core API的扩展，支持实时数据流的处理，并且具有可扩展，高吞吐量，容错的特点。 数据可以从许多来源获取，如Kafka，Flume，Kinesis或TCP sockets，并且可以使用复杂的算法进行处理，这些算法使用诸如map，reduce，join和window等高级函数表示。 最后，处理后的数据可以推送到文件系统，数据库...

在实际生产工作环境中，spark streaming经常和flume或者kafka整合在一起使用，本片文章说下与flume整合过程。 常用的整合方式有两种，一种是push类型，一种是poll类型，在实际分布式生产环境下，我们使用poll类型，也就是由spark streaming向flume拿数据，push类型是flume向streaming 送数据。我们这里只说下poll类型的整合方式。 1...