Spark构建推荐引擎之二：基于Spark Streaming 实时推荐计算

1.1 数据输入模型

1）用户数据输入数据格式：

用户ID，物品ID，点击次数。

2）相似矩阵输入数据格式：

物品ID，物品ID，相似度

1.2 物品相似矩阵

 采用SparkContext读取物品的相似矩阵：

    //2 sc 读取相似矩阵

    valsimi_path1 ="hdfs://192.168.180.100:9000/data/simi/simi.txt"

    valsimi_rdd1 =sc.textFile(simi_path1,10)

    valsimi_rdd2 =simi_rdd1.map(line => {

      valfileds = line.split(",")

      (fileds(0),fileds(1),fileds(2).toDouble)

    })

    simi_rdd2.cache()

1.3 用户实时评分计算

 采用Spark Streaming实时计算用户的评分数据：

//3 构建Streaming对象

    valssc =new StreamingContext(sc,batchDuration)

    ssc.checkpoint("hdfs://192.168.180.100:9000/data/