
spark
bo_hai
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
spark基于ALS的协同过虑实例
plens.org/datasets/movielens/ 下载电影评分数据,查看一下README里面有对数据集的介绍。对数据进行预处理: cat u1.base | awk -F "\t" '{print $1"::"$2"::"$3"::"$4}' > ratings.dat cat u.item | awk -F "|" '{print $1"\t"$2016-07-26 13:59:17 · 246 阅读 · 0 评论 -
基于spark的DataFrame实战
2016-07-27 21:24:59 · 174 阅读 · 0 评论 -
spark基于Streaming的累加器(updateStateByKey)
ractice2/代码如下:import org.apache.spark.streaming.dstream.ReceiverInputDStreamimport org.apache.spark.{HashPartitioner, SparkConf}import org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.spark.streaming.{Duration, Seconds, StreamingConte2016-07-28 11:05:46 · 193 阅读 · 0 评论 -
分享 scala maven 工程pom配置
//maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.bohai</groupId> <artifactId>TestSB2016-08-10 17:06:47 · 274 阅读 · 0 评论