博海软件

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http

使用spark streaming 需要搭建Kafka、zookeeper，搭建的方法网上有很多，再此不再多讲：文章中的代码参考：https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/代码如下:import org.apache.spark.streaming.dstream.ReceiverIn...

Spark 中的另一核心功能是DataFrame，方便处理结构化数据。实例中还是以上一篇博客中的数据为基础。我们要求以下数据：1、查看338用户的评分记录；2、将结果保存成csv格式；3、评论电影最多的用户id；4、被用户评论最多的电影id、title；5、评论电影年龄最小者、最大者；6、25至30岁的用户最喜欢的电影；7、最受用户喜爱的电影；代码如下：...

最近在学习spark，网上有很多关于ALS的实例，大多数千篇一例，决定自己动手写一个实例，力求做到可以运行，有结果。1、数据集准备：到 http://grouplens.org/datasets/movielens/ 下载电影评分数据，查看一下README里面有对数据集的介绍。对数据进行预处理： cat u1.base | awk -F "\t" '{print $1"::"...