【大数据分析】Spark Streaming：Spark Streaming应用程序（二）

随时保存计算状态

有些计算只需要当前的小批量数据，有一些则需要通过考虑以前的小批量数据来获得，比如要计算前5名客户，这需要跟踪每个客户购买或出售的总金额。换句话说，需要跟踪一段时间并且是不同批次的数据的状态。

updateStateByKey和mapWithState可以跟踪状态，它们适用包含键值元组的DStream。这两种方法都可以从PairDStreamFunction中获得。

使用updateStateByKey跟踪状态

updateStateByKey可以让我们为每个key维护一份state，并持续不断的更新该state。
1、state可以是任意的数据类型。
2、要定义state更新函数——指定一个函数如何使用之前的state和新值来更新state。

对于每个batch，Spark都会为每个之前已经存在的key去应用一次state更新函数，无论这个key在batch中是否有新的数据。如果state更新函数返回none，那么key对应的state就会被删除。对于每个新出现的key，也会执行state更新函数。

按照订单金额找到前5名客户的代码如下

val amountPerClient = orders.map(o => (o.clientId, o.amount*o.price))
val amountState = amountPerClient.updateStateByKey((vals, totalOpt:Option[Double]) => {
   
  totalOpt match {
   
    case Some(total) => Some(vals.sum + total)
    case None => Some(vals.sum)
  }
})
val top5clients = amountState.transform(_.sortBy(_._2, false).map(_._1).
  zipWithIndex.filter(x => x._2 < 5))

使用union组合两个DStreams

有时候需要合并两个Dstream（前5个用户以及之前计算的买卖单数），可以使用join或者是cogroup方法，也可以使用union。合并要求两个DStream属于同一类型。

将numPerType转换为新格式

val buySellList = numPerType.map(t =>
	if(t._1) ("BUYS", List(t._2.toString))
	else ("SELLS", List(t._2.toString)))

将top5clients转换成新格式

val top5clList = top5clients.repartition(1).
    map(x => x._1.toString).
    glom().
    map