Spark整合HDFS、WordCount示例

最新推荐文章于 2020-12-05 16:54:33 发布

哈天奇不奇

最新推荐文章于 2020-12-05 16:54:33 发布

阅读量228

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签：大数据

本文链接：https://blog.youkuaiyun.com/iteye_19004/article/details/82651097

Spark 专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何整合Hadoop HA与Spark HA集群，并通过具体步骤演示如何配置环境、启动服务及运行WordCount示例程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原创转载请注明出处：http://agilestyle.iteye.com/blog/2294233

前提条件

Hadoop HA搭建完毕

Spark HA搭建完毕

整合步骤

cd到spark的conf的目录，修改spark-env.sh

添加如下

export HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.4/etc/hadoop

保存退出，将spark-env.sh分发到其他两个节点

scp spark-env.sh hadoop-0000:/home/hadoop/app/spark-1.6.1-bin-hadoop2.6/conf
scp spark-env.sh hadoop-0001:/home/hadoop/app/spark-1.6.1-bin-hadoop2.6/conf

启动

首先启动Hadoop HA

http://hadoop-0000:50070 —— active

http://hadoop-0001:50070 —— standby

接着启动Spark HA（这里选择是hadoop-0002作为master）

http://hadoop-0002:8080 —— ALIVE

http://hadoop-0001:8080 —— STANDBY

执行spark-shell

spark-shell --master spark://hadoop-0002:7077

WordCount

为了运行WordCount，需要上传一个文件到HDFS

hadoop fs -put wordcount.txt /spark/wordcount

切回spark-shell，执行如下

val rdd = sc.textFile("hdfs://hadoop-0000:9000/spark/wordcount/wordcount.txt")

接着执行

rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _).collect

这条语句等价于

rdd.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b).collect