dss安装部署文档（持续更新）

声明：此博客只是给自己看的，当做记录文档

说明：dss-alone:192.168.2.226

在192.168.2.241上操作

*docker network ls（查看）

先在192.168.2.241（物理机）上加载容器与宿主机关联

docker run -d \

--network macvlan-net-1 --ip=192.168.2.226 \

-p 10022:22 \

-p 17180:7180 \

--restart always \

--name dss-alone \

-h dss-alone \

--privileged \

cdh_img \

/usr/sbin/init \

&& docker ps

********换IP,重复执行三次********

++++++++++++++++规划环境及版本++++++++++++++++++++++++++

--centos7

--DataSphere Studio1.1.0 完成

--jdk1.8.0_212 完成

--hadoop2.7.2 完成

--hive2.3.3 完成

--Spark2.4.3 完成

--mysql5.6 完成 ------》最好为5.7

--Python2.7.5 完成

--nginx/1.22.0 完成

--linkis1.1.1 完成

--schedulis0.7.0 完成

--Visualis1.0.0 完成

--flink-1.12.2 完成

--numpy-1.9.2完成

--pandas-0.16.2完成

--zookeeper-3.5.7完成

--kafka_2.12-3.0.0完成

组件版本要求AppConn部署

Schedulis0.7.0ShdlsSchedulis AppConn安装 完成

visualis1.0.0VsaiVisualis AppConn安装 完成

Exchangis1.0.0EcagsExchangis AppConn安装 完成

qualitis0.9.2QaiiQualitis AppConn安装 完成

Prophecis0.3.2PohcsProphecis AppConn安装

streamis0.2.0SraiStreamis AppConn安装 完成

DolphinScheduler1.3.9DolphinScheduler AppConn安装 完成

++++++++++++++++++++++++++++++++++++++++++++++++++++++++

hadoop3.1.1，hive3.1.2 spark3.0.1flink1.13.2, linkis1.3.1dss1.1.1, streamis0.2.4的。

++++++++++++++++++++++++++++++++++++++++++++++++++++++++

1。 虚拟机环境准备

（1）修改克隆虚拟机的静态IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33

#192.168.235.201

#192.168.235.2

（2）修改主机名称

vim /etc/hostname

（3）配置主机名称映射，打开/etc/hosts

sudo vim /etc/hosts

2。用户准备（su - hadoop的免密操作）

添加用户

useradd -m hadoop(-m 自动建立用户的登入目录)

passwd hadoop

$ id hadoop

vi /etc/sudoers

#免密配置

hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL

3.安装mysql

1）查看MySQL是否安装

rpm -qa|grep -i mysql

（2）如果安装了MySQL，就先卸载

rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64

（3）删除阿里云原有MySql依赖

yum remove mysql-libs

（4）下载MySql依赖并安装

yum install libaio

yum -y install autoconf

wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm

wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-5.6.24-1.el6.x86_64.rpm

rpm -ivh MySQL-shared-5.6.24-1.el6.x86_64.rpm

rpm -ivh MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm

（5）上传mysql-libs.zip到dss-alone的/opt/software目录，并解压文件到当前目录

yum install unzip

unzip mysql-libs.zip

（1）安装MySQL服务端

rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

cat /root/.mysql_secret

5y0iVIlMzgVY_Df3

（3）查看MySQL状态

service mysql status

（4）启动MySQL

service mysql start

3）安装MySQL客户端

rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

mysql -uroot -pOEXaQuS8IWkG19Xs

（3）修改密码

mysql>SET PASSWORD=PASSWORD('root');

4）MySQL中user表中主机配置

mysql>use mysql;

（7）修改user表，把Host表内容修改为%

mysql>update user set host='%' where host='localhost';

（8）删除root用户的其他host

mysql> delete from user where host!='%';

（9）刷新

mysql>flush privileges;

4.切换成hadoop用户

配置自身免密登录

ssh-keygen

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@DSS

注：不能一直回车，看提示写yes

#测试免密

ssh hadoop@DSS

5。安装jdk1.8

卸载现有JDK:rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

解压到指定目录：tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置环境变量：sudo vim /etc/profile.d/dss_env.sh

#JAVA_HOME

export JAVA_HOME=/opt/moudle/jdk1.8.0_212

export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/

export PATH=$PATH:$JAVA_HOME/bin

重新加载：source /etc/profile

6。安装nginx

#添加源默认情况Centos7中无Nginx的源，最近发现Nginx官网提供了Centos的源地址。因此可以如下执行命令添加源：

rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

#安装Nginx通过yum search nginx看看是否已经添加源成功。如果成功则执行下列命令安装Nginx。

yum install -y nginx

#启动Nginx并设置开机自动运行

#验证启动

sudo systemctl start nginx

sudo systemctl enable nginx

#验证

nginx -v

7。安装python

wget https://bootstrap.pypa.io/pip/2.7/get-pip.py

#安装pip

sudo python get-pip.py

#安装matplotlib

pip install matplotlib

8.安装Hadoop

mkdir -p /opt/module/hadoop-2.7.2/hadoopinfra/hdfs/namenode

mkdir -p /opt/module/hadoop-2.7.2/hadoopinfra/hdfs/datanode

配置：hdfs-site.xml / yarn-site.xml（ip） /

mapred-site.xml / core-site.xml(ip) / workers(ip)

hdfs namenode -format

service iptables status(查看防火墙的状态)

9.安装hive

配置：hive-env.sh / hive-site.xml（ip）

在lib中添加mysql-connector-java-5.1.49.jar .

create database metastore;

nohup hive --service metastore >> metastore.log 2>&1 &

nohup hive --service hiveserver2 >> hiveserver2.log 2>&1 &

测试：hive -e "show databases"

10安装spark

配置spark-defaults.conf（ip） / workers(ip) / hive-site.xml(ip)

cp -rf spark-2.4.3-bin-hadoop2.7/jars/ /opt/spark/spark-2.4.3-bin-without-hadoop/

cp -rf /opt/module/hive-2.3.3/l