Spark实验报告

最新推荐文章于 2023-04-17 19:55:28 发布

*JUN*�

最新推荐文章于 2023-04-17 19:55:28 发布

阅读量3.2k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/DataZKing/article/details/90440662

该博客详细介绍了Spark的安装过程，包括JDK、Hadoop、Scala的安装和环境变量配置。接着讲解了Spark的下载、安装、环境变量设置以及配置文件的修改，包括spark-env.sh和spark-defaults.conf。此外，还提到了启动和停止Spark进程的方法，以及如何在不同模式下运行Spark示例应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 环境准备
1.1 JDK安装
1.1.1 版本

     使用1.7或1.7以上版本的JDK

1.1.2 安装

     解压环境包：tar -zxvf jdk-7.tgz

     移动到/data/下：mvjdk1.7  /data/jdk

1.1.3 环境变量

     执行命令 vi /etc/profile, 添加变量：

     export JAVA_HOME=/data/jdk

     export PATH=$PATH:$JAVA_HOME/bin

     exportCLASSPATH=.:$JAVA_HOME/jre/lib/:$JAVA_HOME/lib/

    

     执行命令: source /etc/profile使修改后的profile文件生效。

1.1.4 验证

     执行命令：java -version  成功显示java版本，则没有问题。

1.2 hadoop安装

     略，参考hadoop安装文档。

1.3 Scala安装
1.3.1 版本

     使用2.10或以上的版本。

1.3.2 安装

     解压环境包：tar -zvxf scala-2.10.6.tgz

     移动到/data/下：mv scala-2.10.6  /data/scala

1.3.3 环境变量

     执行命令 vi /etc/profile, 添加变量：

     export SCALA_HOME=/data/scala

     export PATH=$PATH:$SCALA_HOME/bin

    

     执行命令: source /etc/profi

最低0.47元/天解锁文章

200万优质内容无限畅学