（一）部署单机Datasphere大数据平台--Datasphere

本文章还有需完善地方，请多多评论

注意：在部署Datasphere平台之前，首先要按照官网要求部署对应版本的基础环境，如果手中基础环境版本不符合，是能修改，不建议新手操作。

官网要求配置

Hadoop (2.7.2);
Hive (2.3.3);
Spark (2.4.3)
MySQL (5.5+); 
JDK (1.8.0_141以上);
Python(2.x和3.x都支持);本人使用anaconda3
Nginx

以上需部署的配置可参考下面网址内容
hadoop全分布式集群

注意

本平台部署的全部操作全部是在普通用户下执行，需root用户下执行命令会有提示，常见的可能不会提示！

配置环境变量

vi /etc/hosts
ip master datasphere

部署ldap(选装，可在后装)

yum install -y openldap openldap-clients openldap-servers migrationtools

vi /etc/openldap/slapd.d/cn=config/olcDatabase={2}hdb.ldif

    olcSuffix: dc=shds,dc=com
    olcRootDN: cn=admin,dc=shds,dc=com
    olcRootPW: root

vi /etc/openldap/slapd.d/cn=config/olcDatabase={1}monitor.ldif

	dn.base="cn=admin,dc=shds,dc=com" read by

cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG
chown -R ldap.ldap /var/lib/ldap

slaptest -u

systemctl start slapd
systemctl enable slapd

netstat -lt | grep ldap
netstat -tunlp | egrep "389|636"

cd /etc/openldap/schema/ 切换到schema目录下执行以下命令

ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f cosine.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f nis.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f collective.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f corba.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f core.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f duaconf.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f dyngroup.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f inetorgperson.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f java.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f misc.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f openldap.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f pmi.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f ppolicy.ldif


vi /usr/share/migrationtools/migrate_common.ph
:set number

    修改61行 $NAMINGCONTEXT{'group'} = "ou=Groups";
    修改71行 $DEFAULT_MAIL_DOMAIN = "shds.com";
    修改74行 $DEFAULT_BASE = "dc=shds,dc=com";
    修改90行 $EXTENDED_SCHEMA = 1;

cd /usr/share/migrationtools

/usr/share/migrationtools/migrate_base.pl > /home/hadoop/hadoop/base.ldif
ldapadd -x -W -D "cn=admin,dc=shds,dc=com" -f /home/hadoop/hadoop/base.ldif


useradd -d /home/hadoop/dss dss

echo 'dss' | passwd --stdin dss


getent passwd | tail -n 5 > /home/hadoop/hadoop/ldif/users

getent shadow | tail -n 5 > /home/hadoop/hadoop/ldif/shadow
getent group | tail -n 5 > /home/hadoop/hadoop/ldif/groups


cd /usr/share/migrationtools

vi migrate_passwd.pl

修改188行，把/etc/shadow换成/home/hadoop/hadoop/shadow）

/usr/share/migrationtools/migrate_passwd.pl /home/hadoop/hadoop/ldif/users > users.ldif
/usr/share/migrationtools/migrate_group.pl /home/hadoop/hadoop/ldif/groups > groups.ldif

ldapadd -x -W -D "cn=admin,dc=shds,dc=com" -f /home/hadoop/hadoop/ldif/users/users.ldif
ldapadd -x -W -D "cn=admin,dc=shds,dc=com" -f /home/hadoop/hadoop/ldif/groups/groups.ldif


开启ldap日志

find / -name slapd.conf
vi /usr/lib/tmpfiles.d/slapd.conf
loglevel        4095   

vi /etc/rsyslog.conf
local4.*                                                /var/log/ldap.log

systemctl restart rsyslog
systemctl restart slapd 

cat /var/log/ldap.log

ldap操作命令

查询用户

ldapsearch -x -b "dc=shds,dc=com" -H ldap://master:389

添加用户

vi ldap_adduser.ldif 

dn: cn=test,ou=Groups,dc=shds,dc=com
objectClass: inetOrgPerson
cn: test
sn: test
uid: test
gidNumber: 1003

ldapadd -H ldap://datasphere:389 -D "cn=admin,dc=shds,dc=com" -w root -f ldap_adduser.ldif

修改用户

vi modifypasswd.ldif
dn: cn=dss,ou=Groups,dc=shds,dc=com
changetype: modify
replace: userPassword
userPassword: dss

ldapmodify -a -H ldap://datasphere:389 -D "cn=admin,dc=shds,dc=com" -w root -f modifypasswd.ldif

删除用户

ldapdelete -x -h shanhedatasphere  -D "cn=admin,dc=shds,dc=com" -w root "cn=dss,ou=Groups,dc=shds,dc=com"

安装anaconda3

wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh 

mkdir -p /appcom/Install/

yum install -y bzip2
sh Anaconda3-2020.02-Linux-x86_64.sh

都是yes

注意:路径为DSS平台寻找本地python环境路径，若使用其他路径则需要重新编译配置文件
路径 /appcom/Install/anaconda3


配置环境变量
vi /etc/profile
    export ANACONDA_HOME=/appcom/Install/anaconda3
    export PATH=$ANACONDA_HOME/bin:$PATH
source /etc/profile

安装Nginx

yum -y install nginx

部署Dss_Linkis1.1.0

数据准备

创建目录
mkdir -p /opt/dss_linkis
cp dss_linkis_one-click_install_20220620_new.zip /opt/dss_linkis
解压
unzip dss_linkis_one-click_install_20220620_new.zip

配置config.sh

conf/config.sh

deployUser=hadoop

DSS_NGINX_IP=datasphere
DSS_WEB_PORT=8099

WORKSPACE_USER_ROOT_PATH=file:///opt/dss_linkis/tmp/workspace_linkis/
HDFS_USER_ROOT_PATH=hdfs:///tmp/hdfs_links
RESULT_SET_ROOT_PATH=hdfs:///tmp/hdfs_linkis
ENGINECONN_ROOT_PATH=/opt/datasphere/dss_linkis/appcom/tmp
ENTRANCE_CONFIG_LOG_PATH=hdfs:///tmp/linkis/

HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.7.2/etc/hadoop
HIVE_CONF_DIR=/opt/hive/apache-hive-2.3.3-bin/conf
SPARK_CONF_DIR=/opt/spark/spark-2.4.3-bin-hadoop2.7/conf

YARN_RESTFUL_URL=http://master:8088

SPARK_VERSION=2.4.3
HIVE_VERSION=2.3.3
PYTHON_VERSION=python3

配置ldap则部署上
LDAP_URL=ldap://master:389/
LDAP_BASEDN=dc=shds,dc=com
LDAP_USER_NAME_FORMAT=cn=%s,OU=Groups,DC=shds,DC=com

把以下所有ip和端口都去掉#
LINKIS_EUREKA_INSTALL_IP=datasphere
LINKIS_EUREKA_PORT=20303

WDS_SCHEDULER_PATH=file:shds/datasphere/dss_linkis/scheduler
export SERVER_HEAP_SIZE="1024M"

EMAIL_HOST=smtp.163.com
EMAIL_PORT=25
EMAIL_USERNAME=xiayuhan0108@163.com
EMAIL_PASSWORD=wasd942984.
EMAIL_PROTOCOL=smtp

ORCHESTRATOR_FILE_PATH=/shds/datasphere/dss_linkis/tmp/dss
EXECUTION_LOG_PATH=/shds/datasphere/dss_linkis/tmp/dss

配置db.sh

conf/db.sh
### for DSS-Server and Eventchecker APPCONN
MYSQL_HOST=master
MYSQL_PORT=3306
MYSQL_DB=dss
MYSQL_USER=hadoop
MYSQL_PASSWORD=hadoop

#主要是配合scriptis一起使用，如果不配置，会默认尝试通过$HIVE_CONF_DIR 中的配置文件获取
HIVE_META_URL=master# HiveMeta元数据库的URL
HIVE_META_USER=hadoop   # HiveMeta元数据库的用户
HIVE_META_PASSWORD=hadoop    # HiveMeta元数据库的密码
HIVE_HOST=master
HIVE_PORT=3306
HIVE_DB=hive
HIVE_USER=hadoop
HIVE_PASSWORD=hadoop

安装部署

bin/install.sh

sh install.sh

查看nginx配置

/etc/nginx/conf.d/dss.conf
# dss访问端口 与 config.sh文件保持一致
listen       6085;

配置数据源管理功能

linkis/conf/linkis-env.sh

export ENABLE_METADATA_MANAGER=true

配置管理员登录信息

linkis/conf/linkis-mg-gateway.properties

wds.linkis.admin.user=hadoop
wds.linkis.admin.password=hadoop

启动结束

bin/
启动
sh start-all.sh
停止
sh stop-all.sh

查看验证是否成功

访问：http://datasphere:20303

登录

访问：http://datasphere:8099

安装默认Appconn

dss/bin/

sh install-default-appconn.sh

安装部署其他组件(待更新)