大数据平台安装部署步骤

编译管理
一、 编译工艺管理：
1.1 编译环境
工具 版本
cpu x86
操作系统 CentOS 7
java 1.8.0_151
maven 3.8.8
Git 1.8.3.1
rpm-build 4.11.3-43.el7.x86_64
gcc-c++ 4.8.5-39.el7.x86_64
python 2.6（系统自带）
python-devel 2.7.5-88.el7.x86_64

1.1.1软硬件环境

1.1.2环境变量
所在位置 变量名 变量值
/etc/profile MAVEN_HOME /usr/maven/apache-maven-3.8.8
/etc/profile PATH MAVEN_HOME/bin:$PATH
/etc/profile JAVA_HOME /usr/jdk/1.8.0_151
… … …

1.2编译流程

二、 平台部署

1. 部署架构

2. 部署包
   2.1主程序与大数据服务资源包manager.tar.gz
   解压后各目录作用：
   •agent：分布式客户端程序
   •bin： 程序启停脚本
   •config： 程序配置文件
   •jmx_exporter：进程监控指标采集程序
   •recommend：大数据服务部署预置模板
   •repair：部署前环境初始化脚本与资源包
   •repository：大数据服务资源包
   •scripts： 相关程序脚本
   •server： 分布式管理端程序
   •sql： 元数据信息初始化 SQL
   •templated：大数据服务配置模板
   •verify：证书存放路径
   •versions： 大数据资源包版本信息

2.2离线 yum 基础源资源包centos.tar.gz
Centos官方发布软件包yum源
2.3离线 yum 扩展源资源包epel.tgz
‌EPEL源是一个由‌Fedora社区创建、维护和管理的软件仓库，提供高质量的附加软件包，适用于Red Hat系列的Linux发行版
2.4进入repair,各目录作用
•bin：单个修复模块脚本所在目录，无需手动管理；
•config：一键修复脚本所需配置文件目录，需要用户手动修改；
•packages：修复过程中安装所需依赖压缩包存放目录；
•sbin：一键修复主脚本所在目录，无需手动管理；

在 config 目录下三个配置文件：
•repair.properties：主要配置私有化 yum 源安装节点信息、mysql 数据库安装节点信息、修复机器总数，以及修复模块日志存放位置。用户根据需要自行修改相关配置项；
•repair-host-info.properties：节点全量修复，需要配置此文件，具体配置所有节点内网 Ip、密码、端口号以及主机名；
•re