Spark编程

anycom

于 2014-09-18 11:54:42 发布

阅读量590

点赞数

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/anycom/article/details/39370109

本文介绍如何使用 Apache Spark 实现 WordCount 程序，并展示了关键代码片段。通过使用 SparkContext 和 RDD 操作来处理文本文件，实现了单词计数的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

val sc = new SparkContext(arg(0),"WordCount", System.getenv("SPARK_HOME"),Seq(System.getenv("SPARK_TEST_JAR")))
val textFile=sc.textFile(arg(1))
val input FormatClass = classOf(SequenceFileInputFormat[text,text]]
var hadoopRdd=sc.hadoopRDD(conf,inputFormatClass, classOf[text],classOf[text])

val result = hadoopRdd.flatMap{case(key,value) => value.toString().split("\\s+");}.map(word => (word,1)).reduceByKey(_+_)

Spark 机器学习的数据集：

http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。