Spark教程——（3）编写spark-shell测试Demo

最新推荐文章于 2023-09-14 20:50:58 发布

转载最新推荐文章于 2023-09-14 20:50:58 发布 · 582 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/ratels/p/10789465.html

文章标签：

#shell #大数据 #scala

本文详细介绍了如何使用HDFS进行文件操作及利用Spark进行数据处理的过程。首先，在HDFS上创建目录并上传文件，随后通过Spark-shell环境用Scala编写程序对数据进行分割、映射、归约等操作，并将结果保存回HDFS。最后，展示了如何从HDFS下载处理后的数据到本地系统。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建一个文件aa.txt，随便写点内容：

hello world!
aa aa
d
d 
dg
g

登录HDFS文件系统：

[root@node1 ~]# su hdfs

在HDFS文件系统中创建文件目录保存要上传的数据：

bash-4.2$ hdfs dfs -mkdir -p /user/cf

然后将CentOS文件系统上的aa.txt文件上传到HDFS文件系统中：

bash-4.2$ hdfs dfs -put /home/cf/aa.txt /user/cf

执行以下命令，进入spark-shell环境：

bash-4.2$ spark-shell

在spark-shell环境中用scala编写spark程序，按空格分割数据

scala> sc.textFile("/user/cf/aa.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("/user/cf/out")

执行后得到结果文件：

bash-4.2$ hadoop fs -ls /user/cf/out
Found 3 items
-rw-r--r--   3 hdfs supergroup          0 2019-04-28 21:30 /user/cf/out/_SUCCESS
-rw-r--r--   3 hdfs supergroup         23 2019-04-28 21:30 /user/cf/out/part-00000
-rw-r--r--   3 hdfs supergroup         24 2019-04-28 21:30 /user/cf/out/part-00001

需要更改CentOS系统中文件目录的访问权限，以便将文件从HDFS文件系统中下载到CentOS文件系统：

[root@node1 ~]# chmod 777 /home/cf

下载结果文件：

bash-4.2$ hadoop fs -get /user/cf/out/_SUCCESS /home/cf
bash-4.2$ hadoop fs -get /user/cf/out/part-00000 /home/cf
bash-4.2$ hadoop fs -get /user/cf/out/part-00001 /home/cf

查看结果文件：

[root@node1 ~]# cat /home/cf/_SUCCESS
[root@node1 ~]# cat /home/cf/part-00000
(d,2)
(aa,2)
(hello,1)
[root@node1 ~]# cat /home/cf/part-00001
(world!,1)
(dg,1)
(g,1)