spark分布式环境搭建(1) 单个系统环境准备

spark分布式环境搭建(1) 单个系统环境准备

因为测试新的组件性能，需要个集群，没有多余的机器，所以自己搭建一个环境，之前搭建的系统都删除了。所以重新记录一下，以防下次再搭建的时候，反复去搜索文档。

注明：我这里用的是vmware搭建的环境，如果是实体服务器玩家，稍作修改

---

准备一个linux系统(我这里是cent os 7)

本文主要包括以下内容:

1. 关闭防火墙
2. 关闭seLinux
3. 安装java,配置java环境变量
4. 安装scala,配置scala环境变量

• 关闭防火墙
  • 查看防火墙状态

  systemctl status firewalld
  

  • 关闭防火墙

  systemctl stop firewalld
  

  • 取消防火墙开机自启

  systemctl disable firewalld
  

  • 开启防火墙

  systemctl enable firewalld
  

• 安装lrzsz
  • 这个可以用ssh client上传文件

  yum install -y lrzsz
  

• selinux设置
  • SELinux(Security-Enhanced Linux) 是美国国家安全局（NSA）对于强制访问控制的实现，是Linux历史上最杰出的新安全子系统。 NSA是在Linux社区的帮助下开发了一种访问控制体系，在这种访问控制体系的限制下，进程只能访问那些在他的任务中所需要文件。
  • 检查selinux的状态

  vim /etc/selinux/config
  
  # 设置 SELINUX=disabled
  

• 修改hostname

  vim /etc/hostname
  #修改成自己想要的名字
  

• java环境变量
  • 上传java的安装包

  mkdir -p /opt/java
  tar -zxvf jdk-8u241-linux-x64.tar.gz
  mv jdk1.8.0_241/ jdk1.8
  

  • 配置java的环境变量

  vim /etc/profile
  # 添加如下
  export JAVA_HOME=/opt/java/jdk1.8
  export PATH=$PATH:$JAVA_HOME/bin
  # 修改完毕，退出修改
  source /etc/profile
  

• scala环境变量安装
  • 上传scala到服务器上

  tar -zxvf scala-2.12.7.tgz
  vim /etc/profile
  ## 在下面添加
  export SCALA_HOME=/opt/scala
  export PATH=$PATH:$SCALA_HOME/bin
  

---

基础环境配置完毕

最后上传一下以下三个安装包

hadoop     版本 2.7
zookeeper  版本 3.5
spark      版本 3.0 with hadoop 2.7

以上单机的基础环境以及相关的软件包已经准备好了，我们下篇文章见！**