Linux系统中Find命令的使用及spark的wordcount程序启动

Hi洛一

于 2023-05-04 11:23:55 发布

阅读量279

点赞数

文章标签： spark linux 大数据知识图谱

本文链接：https://blog.youkuaiyun.com/qq_40233706/article/details/130483524

版权

该文描述了如何在Linux环境中查找并进入Spark目录，启动SparkShell，然后编写并执行一个基础的Wordcount程序进行文本数据的统计分析。通过`find`命令找到Spark安装位置，使用`cd`进入，以`local[6]`模式启动Shell，接着加载数据文件并运用reduceByKey进行单词计数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 1.查找spark所在目录
find / -name spark

# 2.进入目录
cd /export/servers/spark

# 3.启动sparkshell
bin/spark-shell --master local[6]

# 4.编写wordcount代码并执行
import org.apache.spark.sql.SparkSession

val sc = SparkSession.builder.master("local[*]").appName("test").getOrCreate()

val rdd1 = sc.sparkContext.textFile("file:///export/data/wordcount.txt")

val flattenCountRdd = rdd1.flatMap(_.split(" ")).map((_, 1))

val aggCountRdd = flattenCountRdd.reduceByKey(_ + _)

val result = aggCountRdd.collect

print(result)