Spark初体验(配置超详细)

最新推荐文章于 2025-01-02 11:18:07 发布

原创

最新推荐文章于 2025-01-02 11:18:07 发布 · 5k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#spark #java #大数据 #部署

本文详细记录了Spark环境配置、Java代码编写、服务启动和任务提交的全过程，包括更换Linux镜像库、卸载与安装JDK、Scala和Spark，以及配置maven。通过一个简单的计数程序演示了Spark与Java的结合使用，强调了版本一致性和环境配置的重要性。

一乡二里共三夫子不识四书五经六义竟敢教七八九子十分大胆！
十室九贫凑得八两七钱六分五毫四厘尚且三心二意一等下流

spark

前言

　　这里，不谈spark原理，作用，使用场景等，只是一个spark与java打通的一个过程。看似简单，整整花了哥两天的时间，版本号的坑，服务器的坑等等，头胀的能飘起来~！按照我下面说的环境和步骤去做，保证你99%能一次跑过，因为我是一边写此篇一边在新的虚拟机配置。一切都ok~

环境

名称	版本号
Linux	CentOS Linux release 7.0.1406 (Core)
jdk	1.8.0_121 OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)
scala	Scala code runner version 2.10.4 – Copyright 2002-2013, LAMP/EPFL
spark	spark-1.6.2-bin-hadoop2.6

环境部署(超详细)

最好把当前Linux的镜像库文件更换掉，这里我用的是163的传送门讲解得很详细

卸掉默认的jdk版本

[root@localhost ~]# rpm -qa|grep jdk
java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64
java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64

得到目前jdk的版本，然后删除

yum -y remove java java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

然后安装下载好的jdk，用到的软件都放在了文末，或者自己去下载或者去各自的官网下载

tar -xvzf jdk-8u121-linux-x64.tar.gz

解压好之后，创建个软连接，方便以后更改版本

ls -sf /usr/local/software/jdk1.8.0_121/ /usr/local/jdk

按照此方法分别对scala和spark操作，配置后结果如下

.
├── bin
├── etc
├── games
├── include
├── jdk -> /usr/local/software/jdk1.8.0_121
├── lib
├── lib64
├── libexec
├── sbin
├── scala -> /usr/local/software/scala-2.10.4
├── share
├── software
├── spark -> /usr/local/software/spark-1.6.2-bin-hadoop2.6
└── src

然后将其分别添加到系统的全局变量

vi /etc/profile

在文件的最末端添加下面代码，注意格式

export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

最后一定要执行下面命令，作用就是即时生效

source /etc/profile

然后就可以查看版本号了

java -version
scala -version

到此，spark的环境就部署好了，我这边代码依赖管理用的是maven，还需要配置下maven环境，
这里我直接用的yum安装了

yum install maven

等待安装完毕，在改一下maven的中央仓库镜像地址，否咋，spark需要的几个jar包会下载到你怕为止.
这里maven的地址可以通过mvn -version去查看

Maven home: /usr/share/maven
Java version: 1.8.0_121, vendor: Oracle Corporation
Java home: /usr/local/software/jdk1.8.0_121/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-123.el7.x86_64", arch: "amd64", family: "unix"