搭建以hdfs为文件存储库的spark集群

最新推荐文章于 2024-02-26 18:34:42 发布

原创最新推荐文章于 2024-02-26 18:34:42 发布 · 3.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop #spark

Spark HDFS 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何搭建并启动Hadoop高可用集群，以及在Spark shell中执行数据处理任务的具体步骤。通过实例演示了如何使用Spark进行文本文件的读取、单词计数、排序及结果保存至HDFS的操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1，搭建启动hadoop HA集群，之前文章有详细的搭建过程。

启动HDFS(在weekend01上执行)
sbin/start-dfs.sh

找一个文件上传到自定义hdfs目录下面

启动spark shell 交互命令行（在weekend02 启动）

bin/spark-shell --master spark://weekend02:7077 --executor-memory 512m --total-executor-cores 2

执行shell命令，进行运算

#使用空格对文本每行字段进行切分，同样单词出现一次记录为1 , 然后让key进行累加，按照vule 排序，false降序，搜集统计
sc.textFile("hdfs://weekend02:9000/wc").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect;
#使用空格对文本每行字段进行切分，同样单词出现一次记录为1 ， 然后让key进行累加，按照vule 排序，false降序，统计保存到hdfs目录
sc.textFile("hdfs://weekend02:9000/wc").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).saveAsTextFile("hdfs://weekend02:9000/out")
#使用空格对文本每行字段进行切分，同样单词出现一次记录为1 ， 然后让key进行累加，输出一个文件中，按照vule 排序，false降序，统计保存到hdfs目录，保存为一个目录
sc.textFile("hdfs://weekend02:9000/wc").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_,1).sortBy(_._2,false).saveAsTextFile("hdfs://weekend02:9000/out1")

最后hdfs目录下查看是否生成：