大数据（8a）CentOS7安装Spark集群（YARN模式）

1、概述

• Apache Spark^TM是大数据分析引擎
• 在Scala语言中实现
• 依赖JDK
• 更基于内存（相对于MapReduce），适用于实时计算
• 官网：http://spark.apache.org/
• 下载地址：https://downloads.apache.org/spark/
• 官方教程：http://spark.apache.org/docs/latest/quick-start.html

库	说明
Spark SQL	结构化数据处理
Spark Streaming	实时数据流式计算
MLlib	机器学习
GraphX	图和图并行计算

2、集群安装（YARN模式）

环境	版本	备注
CentOS	7	开源的Linux操作系统
JDK	1.8	Java软件开发工具包
Hadoop	3.1	大数据基础框架
Spark	3.0	大数据实时计算引擎

集群规划	hadoop100	hadoop101	hadoop102
IP地址	192.168.1.100	192.168.1.101	192.168.1.102
JDK	1	1	1
Hadoop	1	1	1
Spark	1

2.1、JAK和Hadoop安装

https://yellow520.blog.youkuaiyun.com/article/details/112380523

2.2、环境变量

https://yellow520.blog.youkuaiyun.com/article/details/112692486

2.3、Spark解压、改名、修改用户组

tar -zxvf spark-3.0.2-bin-hadoop2.7.tgz -C $B_HOME/
cd $B_HOME
mv spark-3.0.2-bin-hadoop2.7 spark
chown -R root:root spark

2.4、YARN配置目录 加到 Spark环境

echo '#!/usr/bin/env bash' > $SPARK_HOME/conf/spark-env.sh
echo 'export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop' >> $SPARK_HOME/conf/spark-env.sh

2.5、试运行（前提是YARN在运行）

spark-submit \
--master yarn \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-3.0.2.jar \
10

3、Spark文件夹简介

ls -l $SPARK_HOME

文件夹	用处	e.g.
bin	可执行命令	spark-shell、spark-submit
conf	配置	spark-env.sh.template
data	一些可以拿来玩的样本	graphx、mllib、streaming
example	官方提供了一些代码案例	cat examples/src/main/python/wordcount.py
jars	依赖的JAR文件	spark-core、spark-sql、spark-mllib
python、R	对其它语言的支持	pyspark
sbin	启停命令	start-all.sh、stop-all.sh

4、历史服务

https://yellow520.blog.youkuaiyun.com/article/details/113034593