Ubuntu 16.04安装Spark

本文详细介绍在阿里云ECS的Ubuntu系统上安装Spark的过程,包括下载安装包、配置Spark环境、测试Spark与Hadoop的HDFS交互等功能,确保Spark在云服务器上的正确运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在阿里云ECS服务器的Ubuntu中安装Spark

安装Spark
  • 安装spark
  • 从官网下载安装包并解压。
  • 修改Spark配置文件
$ cd /usr/local/spark
$ cp cp ./conf/spark-env.sh.template ./conf/spark-env.sh

编辑spark-env.sh文件,在第一行添加: export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath) 。这样Spark就可以从HDFS中读写数据。

测试Spark能否正常访问Hadoop中的HDFS
  • 启动Spark-shell交互式环境
# cd /usr/local/spark
# ./bin/spark-shell
  • 启动HDFS
# cd /usr/local/hadoop
# ./sbin/start-dfs.sh

执行 jps 查看是否启动成功:

[image:A0A31292-1FC3-4160-9498-09C38F57741E-15881-0000B042830E5150/A3111CEF-264C-436A-BFD9-396C4B9D3F50.png]

如果看到了至少上述4个进程,则表示HDFS启动成功。
进入Spark-shell交互式环境后,执行

val line = sc.textFile("/user/meow/word.txt")
println(line.count())

可以输出word.txt文件中的文本行数。
注: 1. textFile() 函数的参数是HDFS里面的相对路径。
2. 使用公网IP、私网IP和本地IP都会无法访问。
3. 如果使用Intellij IDEA来访问HDFS,则需要使用服务器的私网IP。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值