Centos8下安装Spark

本文详细介绍了如何从零开始搭建Spark运行环境,包括Scala的下载、解压及环境变量配置等步骤,并给出了启动Spark Shell的具体命令。

1、下载压缩包

	命令:wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

2、解压缩包

	命令:tar -xzvf scala-2.11.8.tgz

3、环境变量配置

export JAVA_HOME=/opt/java/jdk1.8.0_301
export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.3
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export SPARK_HOME=/opt/spark/spark-2.1.0-bin-hadoop2.6
export SCALA_HOME=/opt/scala/scala-2.11.8
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=.:${JAVA_HOME}/bin:${HIVE_HOME}/bin:${HADOOP_HOME}/bin:/opt/mongodb/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HIVE_HOME=/opt/hive/apache-hive-2.3.9-bin
export HIVE_CONF_DIR=${HIVE_HOME}/conf

在这里插入图片描述

4、启动Spark

	命令(没有空格!!没有空格!!!没有空格!!!闷头查了半天bash,,,,):spark-shell

在这里插入图片描述

在这里插入图片描述

CentOS安装 Docker 并进一步安装 Spark 的步骤如下: 1. **安装 Docker**: - 首先,打开终端并更新系统包列表:`sudo yum update` - 安装 Docker:`sudo yum install docker-ce docker-ce-cli containerd.io` 2. **启动和启用 Docker**: - 安装完成后,运行命令启动 Docker:`sudo systemctl start docker` - 确保 Docker 自动开机时启动:`sudo systemctl enable docker` 3. **检查 Docker 是否运行正常**: - 使用 `sudo docker run hello-world` 来验证 Docker 是否安装成功,并能从官方仓库拉取镜像。 4. **安装 Docker-compose**: 虽然不是必需的,但 Docker Compose 可以方便地管理复杂的容器部署,可以使用下面的命令安装: ``` sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose ``` 5. **安装 Apache Spark** (假设你想要的是 Spark 3.x版本): - 由于 Docker Hub 上有预构建的 Spark 镜像,你可以直接通过 Docker Pull 进行安装: ``` sudo docker pull apache/spark:3.1.2 ``` 或者,你可以创建一个新的Dockerfile,下载Spark源码并编译,然后运行容器。这里仅提供简化版示例: ```bash # 创建一个Dockerfile echo "FROM apache/spark:3.1.2" > Dockerfile echo "COPY spark-app.jar app.jar" >> Dockerfile docker build -t my-spark . ``` 接着运行容器: ``` docker run -p 8080:8080 -v /path/to/your/spark-app.jar:/app.jar my-spark ``` 这里 `-p` 参数暴露了 Spark UI 的端口。 6. **配置 Spark**: - 如果需要更详细的配置,可以在创建 Dockerfile 时添加环境变量或文件映射。 完成以上步骤后,你已经在 CentOS安装了 Docker 并利用它安装SparkSpark 应该已经运行起来了,可以通过访问 `http://localhost:8080` 查看其 UI。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值