spark 最新版1.0本地模式安装_spark入门学习一

最新推荐文章于 2024-08-09 12:09:29 发布

原创最新推荐文章于 2024-08-09 12:09:29 发布 · 置顶 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

大数据同时被 2 个专栏收录

4 篇文章

订阅专栏

spark

2 篇文章

订阅专栏

本文详细介绍了如何在Red Hat 6.4的32位操作系统上安装并测试本地模式的Spark。包括环境准备、JDK安装、配置JAVA_HOME、Spark安装与配置环境变量等步骤，并提供了启动命令与测试运行的详细操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1：环境准备(可以是虚拟机)

1：准备虚拟机一台，我安装的是redhat6.4的32位操作系统。

2 :修改hostname。使用命令hostname localhost（如需重启后生效，可以修改配置文件/etc/sysconfig/network中的HOSTNAME=localhost即可）。另修改/etc/hosts ,用#注释掉默认的文本，添加127.0.0.1 localhost即可。

3：jdk安装（大家可根据操作系统的版本安装相应的JDK，建议1.6以上版本），我的虚拟机是32位的，可下载jdk-6u43-linux-i586.bin文件，上传到/home/software目录下，用命令chmod 755 jdk-6u43-linux-i586.bin授可执行权限。然后./jdk-6u43-linux-i586.bin执行即可快速安装，默认路径在/home/software/jdk1.6.0_43目录中。

4：配置JAVA_HOME。在/etc/profile文件中添加

export JAVA_HOME=/home/software/jdk1.6.0_43

export PATH = $PATH:$JAVA_HOME/bin

保存后用命令source /etc/profile使环境配置修改生效。

用命令java、javac、java -version测试jdk是否成功。

二 :解压spark安装包

1：下载编译好的spark安装包： spark-1.0.0-bin-hadoop1.tgz （下载地址）

2：在/home目录下解压tar -zxvf spark-1.0.0-bin-hadoop1.tgz

3：配置环境变量

在/etc/profile文件中添加SPARK_HOME=/home/ spark-1.0.0-bin-hadoop1

三 :测试运行

1：进入 /home/ spark-1.0.0-bin-hadoop1目录下，命令启动bin/spark-shell即可启动spark的命令操作区

scala> val textFile = sc.textFile("README.md")
textFile: spark.RDD[String] = spark.MappedRDD@2ee9b6XXX

scala> textFile.count() // Number of items in this RDD
res0: Long = 127

1： spark的默认端口是4040，web界面通过http://localhost:4040访问

三 :总结

本地模式的spark安装非常简单，只需要解压下载好的已经编译好的JAR包即可运行，作为单机环境下测试非常好。后续会有集群模式下的spark安装以及spark on yarn上的集群安装。期待。。。