25、基于Spark Streaming的实时机器学习实践

基于Spark Streaming的实时机器学习实践

1. 启动数据生产者

要启动数据生产者，可使用 sbt run 命令，然后选择执行 StreamingModelProducer 主方法。执行后会出现如下输出，表明生产者程序正在等待来自流式回归应用的连接：

[info] Running StreamingModelProducer
Listening on port: 9999
Creating a streaming regression model

2. 创建流式回归程序

流式回归程序的基本布局和设置与之前的流式分析示例类似，以下是具体代码：

/**
 * A simple streaming linear regression that prints out predicted  
value for each batch
 */
object SimpleStreamingModel {
  def main(args: Array[String]) {
    val ssc = new StreamingContext("local[2]", "First Streaming  App", Seconds(10))
    val stream = ssc.socketTextStream("localhost", 9999)
    val NumFeatures = 100
    val zeroVector = DenseVector.zeros[Double](