数据质量管理平台 Qualitis 安装部署

环境准备（必须）：

jdk

下载 jdk 的gz包

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

解压缩

tar -zxvf jdk-8u261-linux-x64.tar.gz

配置环境变量

vim /etc/profile

export JAVA_HOME=/usr/local/java1.8

export CLASSPATH=.:$JAVA-HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

·mysql

下载安装包

https://downloads.mysql.com/archives/community/

解压

tar -zxvf mysql-5.6.40-linux-glibc2.12-x86_64.tar.gz

重命名文件夹

mv mysql-5.6.40-linux-glibc2.12-x86_64 mysql

创建mysql用户/组

groupadd mysql

useradd -g mysql mysql

创建data目录

mkdir /usr/local/mysql/data

赋权限

chown -R mysql:mysql /usr/local/mysql

chmod -R 755 /usr/local/mysql

初始化

cd /usr/local/mysql/bin

./mysqld --initialize --user=mysql --datadir=/usr/local/mysql/data --basedir=/usr/local/mysql

注意记录下初始化生成的root临时密码

修改配置

vim /etc/my.cnf

清空文件内容，复制以下内容

[mysql]
# 设置mysql客户端默认字符集
default-character-set=utf8
socket=/var/lib/mysql/mysql.sock
[mysqld]
skip-name-resolve
#设置3306端口
port=3306
socket=/var/lib/mysql/mysql.sock
# 设置mysql的安装目录
basedir=/usr/local/mysql
# 设置mysql数据库的数据的存放目录
datadir=/usr/local/mysql/data
# 允许最大连接数
max_connections=200
# 服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
lower_case_table_names=1
max_allowed_packet=16M

创建mysql配置中使用到的文件夹，并赋予mysql权限

mkdir /var/lib/mysql
mkdir /var/lib/mysql/mysql
chown -R mysql:mysql /var/lib/mysql
chown -R mysql:mysql /var/lib/mysql/mysql

 添加软链接

ln -s /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql

ln -s /usr/local/mysql/bin/mysql /usr/bin/mysql

启动mysql

service mysql start

登录mysql，修改密码(密码为步骤8生成的临时密码)

mysql -u root -p

set password for root@localhost = password('yourpass');

开放远程连接(mysql安装完成)

use mysql;

update user set user.Host='%' where user.User='root';

flush privileges;

·hadoop

下载hadoop安装包

https://archive.apache.org/dist/hadoop/common/

解压缩

tar -zxvf hadoop-2.10.1.tar.gz

创建用户组

groupadd hadoop

useradd -g hadoop hadoop

添加到环境变量

vim /etc/profile

export PATH=$PATH:/usr/local/hadoop

查看是否安装成功

hadoop version

查看链接

https://www.jb51.net/article/137194.htm

·hive

下载hive安装包

解压安装包/usr/local

添加环境变量 vim ~/.bashrc source ~/.bashrc

添加mysql驱动包到 /usr/local/hive/lib

新建mysql数据库create database hive; 

create user 'hive'@'%' identified with mysql_native_password by 'jzqh_data';

grant all privileges on hive.* to 'hive'@'%';

flush privileges;

配置hive-site.xml 

配置hive-env.sh

初始化mysql库  schematool -dbType mysql -initSchema （在hive的bin目录下）

启动hive hive --service hiveserver2

运行hive hive

测试 show tables;

·links

下载linkis安装包

解压安装包/usr/local/links 

配置config.sh

配置db.sh

创建mysql数据库linkis

开始安装 sh bin/install.sh

启动服务 sh bin/start-all.sh

访问页面：ip:20303 即表示安装成功

Qualitis安装|部署

下载安装包

https://github.com/WeBankFinTech/Qualitis/releases

解压缩

unzip wedatasphere-qualitis-0.8.0.zip

初始化数据库

新建数据库qualitis

连接数据库

mysql -uroot -p

use qualitis

source conf/database/init.sql

修改配置文件

vim conf/application-dev.yml

 启动系统

dos2unix bin/*
sh bin/start.sh

登录验证

ip:8090

用户/密码:admin/admin