spark
关注
分享
扫一扫
天道酬勤厚积薄发
不懈的努力是迈向成功最坚实可靠的途径。
展开
-
Spark 单机安装配置
本文将介绍Apache Spark 1.6.0在单机的部署，与在集群中部署的步骤基本一致，只是少了一些master和slave文件的配置。备注：经验证，spark1.5+hadoop2.5.2+jdk1.7同样适用一下步骤。0.Spark的安装准备Spark官网的文档 http://spark.apache.org/docs/latest/ 里是这样说的：S转载 2016-11-09 13:37:09 · 4104 阅读 · 0 评论 -
spark-shell示例
Scala 行数统计命令及结果示例# spark-shellscala> val lines = sc.textFile("README.md")lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] at textFile at :24scala> lines.count原创 2016-11-09 14:08:26 · 1052 阅读 · 0 评论