CDH6.3.1离线安装文档手册
- 一、开始初始化机器
- 二、 时间同步配置
- 三、每个节点安装JDK
- 四、安装Mysql
- 五、创建CDH元数据库 ,用户cmf、amon的服务的库并设置密码
- 六、开始部署CDH(不需要下载依赖安装)
- 1、解压文件
- 2、选择一台机器作为cdh的server并安装server和daemon
- 3、配置server服务的mysql连接配置
- 4、进入查看日志目录是否生成(目前目录为空没有日志产生)
- 5、启动server服务 并查看运行日志
- 6、在主节点以及其余节点安装agent并修改配置文件
- 7、将主deamons 和agent文件分别分发到其余节点并安装
- 8、修改所有节点中的agent配置
- 9、所有节点启动Agent
- 10、网页访问cdh juncheng001:7180
- 11、安装httpd
- 12、部署离线parcel源
- 13、修改httpd配置,启动httpd,网页查看
- 14、cdh网页中配置parcel 路径(cdh网页如果出问题记得重启server 和agent,然后重连cdh页面)
- CDH集成FLINK
- CDH集成Elasticsearch
- 一、安装包准备
- 二、安装maven
- 三、将cm_ext 下打包
- 四、下载parcel工具(已有),并修改配置
- 五、制作parcel包 elasticsearch-parcel下 (记得修改路径) 执行
- 六、制作CSD文件 elasticsearch-parcel下 执行
- 七、/root/cloud/elasticsearch-parcel/build-csd下的 ELASTICSEARCH-1.0.jar 复制到 /opt/cloudera/csd
- 八、build-parcel下的 xxx.parcel 和 manifest.json 复制到 /var/www/html/es/ 下
- 九、修改权限并激活
- 十、解决报错
- 十一、重启server服务 添加ES服务
- 安装MongoDB
- 安装oozie界面
离线安装的包 没有的都可以提前在有网的服务器上 通过 yum -y install ntp --downloadonly --downloaddir /root/ntp 命令 下载到指定路径下然后 压缩下载上传到离线服务器上 再通过 rpm -ivh *.rpm --force --nodeps 安装
一、开始初始化机器
在根目录下创建CDH6.3.1目录将相关文件上传进去
1.设置所有节点的hosts文件
echo "172.25.12.XXX juncheng001">> /etc/hosts
echo "172.25.12.XXX juncheng002">> /etc/hosts
echo "172.25.12.XXX juncheng003">> /etc/hosts
2.关闭所有节点的防火墙及清空规则
systemctl stop firewalld
systemctl disable firewalld
iptables -F
3.关闭所有节点的selinux
vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled
设置后需要重启才能生效
4、设置所有节点的时区
查看当前机器日期
[root@juncheng001 ~]# date
Wed Oct 23 13:51:31 CST 2019
[root@juncheng001 ~]# timedatectl
Local time: Wed 2019-10-23 13:51:49 CST
Universal time: Wed 2019-10-23 05:51:49 UTC
RTC time: Wed 2019-10-23 13:51:49
Time zone: Asia/Shanghai (CST, +0800)
NTP enabled: yes
NTP synchronized: yes
RTC in local TZ: yes
DST active: n/a
查看日期命令帮助
[root@juncheng001 ~]# timedatectl --help
timedatectl [OPTIONS...] COMMAND ...
Query or change system time and date settings.
-h --help Show this help message
--version Show package version
--no-pager Do not pipe output into a pager
--no-ask-password Do not prompt for password
-H --host=[USER@]HOST Operate on remote host
-M --machine=CONTAINER Operate on local container
--adjust-system-clock Adjust system clock when changing local RTC mode
Commands:
status Show current time settings
set-time TIME Set system time
set-timezone ZONE Set system time zone
list-timezones Show known time zones
set-local-rtc BOOL Control whether RTC is in local time
set-ntp BOOL Control whether NTP is enabled
查看有哪些时区
[root@juncheng001 ~]# timedatectl list-timezones
Africa/Abidjan
Africa/Accra
Africa/Addis_Ababa
Africa/Algiers
Africa/Asmara
Africa/Bamako
所有节点设置亚洲上海时区
[root@juncheng001 ~]# timedatectl set-timezone Asia/Shanghai
[root@juncheng002 ~]# timedatectl set-timezone Asia/Shanghai
[root@juncheng003 ~]# timedatectl set-timezone Asia/Shanghai
二、 时间同步配置
1、所有节点离线安装ntp
首先检查系统中是否安装ntp包:
rpm -q ntp
如果显示未安装:将文件夹中的 ntp.tar.gz上传到每个节点上、解压、安装
scp ntp.tar.gz root@juncheng001:/root
scp ntp.tar.gz root@juncheng002:/root
scp ntp.tar.gz root@juncheng003:/root
tar -zxvf ntp.tar.gz
cd ntp
rpm -ivh *.rpm --force --nodeps
2、进行ntp配置
主节点进入conf目录下
vi /etc/ntp.conf
在配置文件中添加以下配置**(记得修改下面配置 172.25.12.0 网段 改成当前机器的网段 XX.XX.XX.0)**
#time
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
#当外部时间不可用时,可使用本地硬件时间
server 127.127.1.0 iburst local clock
#允许哪些网段的机器来同步时间
restrict 172.25.12.0 mask 255.255.255.0 nomodify notrap
查看 openssl 版本(有可能版本是1.0.1出错,如果为1.0.2则不用管)
openssl version
如果版本有问题 则所有节点解压 openssl.tar.gz 文件 然后进入文件夹openssl 下执行**(并上传到其余节点进行执行上述操作)**
rpm -ivh *.rpm --force --nodeps
3、主节点执行启动ntp
systemctl start ntpd
systemctl status ntpd
验证服务是否启动正常
ntpq -p
以下状态为正常
remote refid st t when poll reach delay offset jitter
==============================================================================
LOCAL(0) .LOCL. 10 l 726 64 0 0.000 0.000 0.000
4、其余从节点执行命令禁用ntp服务
systemctl stop ntpd
systemctl disable ntpd
/usr/sbin/ntpdate juncheng001 或者 /usr/sbin/ntpdate 172.25.12.184 同步节点一的时间
5、从节点编写定时任务,凌晨定时同步时间
crontab -e
00 00 * * * /usr/sbin/ntpdate 172.25.12.184
三、每个节点安装JDK
1、将jdk压缩包复制到各个节点上
mkdir /usr/java
tar -xzvf jdk-8u181-linux-x64.tar.gz -C /usr/java/
2、切记必须修正所属用户及用户组
chown -R root:root /usr/java/jdk1.8.0_181
echo "export JAVA_HOME=/usr/java/jdk1.8.0_181" >> /etc/profile
echo "export PATH=/usr/java/jdk1.8.0_181/bin:${PATH}" >> /etc/profile
source /etc/profile
which java
四、安装Mysql
企业级别mysql安装文档连接
mysql安装视频链接 密码:whic
1、文件夹中压缩包解压到指定路径并重命名为mysql
tar -zxvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz -C /usr/local/
cd /usr/local
mv mysql-5.7.11-linux-glibc2.5-x86_64 mysql
2、创建文件夹并且配置参数
cd /usr/local
mkdir mysql/arch mysql/data mysql/tmp
vi /etc/my.cnf
将以下参数复制粘贴进去(删除原文件中内容,#根据生产需要,调整pool size )
[client]
port = 3306
socket = /usr/local/mysql/data/mysql.sock
default-character-set=utf8mb4
[mysqld]
port = 3306
socket = /usr/local/mysql/data/mysql.sock
skip-slave-start
skip-external-locking
key_buffer_size = 256M
sort_buffer_size = 2M
read_buffer_size = 2M
read_rnd_buffer_size = 4M
query_cache_size= 32M
max_allowed_packet = 16M
myisam_sort_buffer_size=128M
tmp_table_size=32M
table_open_cache = 512
thread_cache_size = 8
wait_timeout = 86400
interactive_timeout = 86400
max_connections = 600
# Try number of CPU's*2 for thread_concurrency
#thread_concurrency = 32
#isolation level and default engine
default-storage-engine = INNODB
transaction-isolation = READ-COMMITTED
server-id = 1739
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
pid-file = /usr/local/mysql/data/hostname.pid
#open performance schema
log-warnings
sysdate-is-now
binlog_format = ROW
log_bin_trust_function_creators=1
log-error = /usr/local/mysql/data/hostname.err
log-bin = /usr/local/mysql/arch/mysql-bin
expire_logs_days = 7
innodb_write_io_threads=16
relay-log = /usr/local/mysql/relay_log/relay-log
relay-log-index = /usr/local/mysql/relay_log/relay-log.index
relay_log_info_file= /usr/local/mysql/relay_log/relay-log.info
log_slave_updates=1
gtid_mode=OFF
enforce_gtid_consistency=OFF
# slave
slave-parallel-type=LOGICAL_CLOCK
slave-parallel-workers=4
master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log_recovery=ON
#other logs
#general_log =1
#general_log_file = /usr/local/mysql/data/general_log.err
#slow_query_log=1
#slow_query_log_file=/usr/local/mysql/data/slow_log.err
#for replication slave
sync_binlog = 500
#for innodb options
innodb_data_home_dir = /usr/local/mysql/data/
innodb_data_file_path = ibdata1:1G;ibdata2:1G:autoextend
innodb_log_group_home_dir = /usr/local/mysql/arch
innodb_log_files_in_group = 4
innodb_log_file_size = 1G
innodb_log_buffer_size = 200M
#根据生产需要,调整pool size
innodb_buffer_pool_size = 2G
#innodb_additional_mem_pool_size = 50M #deprecated in 5.6
tmpdir = /usr/local/mysql/tmp
innodb_lock_wait_timeout = 1000
#innodb_thread_concurrency = 0
innodb_flush_log_at_trx_commit = 2
innodb_locks_unsafe_for_binlog=1
#innodb io features: add for mysql5.5.8
performance_schema
innodb_read_io_threads=4
innodb-write-io-threads=4
innodb-io-capacity=200
#purge threads change default(0) to 1 for purge
innodb_purge_threads=1
innodb_use_native_aio=on
#case-sensitive file names and separate tablespace
innodb_file_per_table = 1
lower_case_table_names=1
[mysqldump]
quick
max_allowed_packet = 128M
[mysql]
no-auto-rehash
default-character-set=utf8mb4
[mysqlhotcopy]
interactive-timeout
[myisamchk]
key_buffer_size = 256M
sort_buffer_size = 256M
read_buffer = 2M
write_buffer = 2M
创建用户组
groupadd -g 101 dba
指定用户组指定目录(会报一个warrning错 无需搭理
)
useradd -u 514 -g dba -G root -d /usr/local/mysql mysqladmin
查看用户id(可省略)
id mysqladmin
copy 环境变量配置文件至mysqladmin用户的home目录中,为了以下步骤配置个人环境变量
cp /etc/skel/.* /usr/local/mysql
配置环境变量
vi mysql/.bash_profile 或者
vi mysql/.bashrc (推荐)
将以下内容放入环境变量中
# User specific environment and startup programs
export MYSQL_BASE=/usr/local/mysql
export PATH=${MYSQL_BASE}/bin:$PATH
赋权限
chown mysqladmin:dba /etc/my.cnf
chmod 640 /etc/my.cnf
chown -R mysqladmin:dba /usr/local/mysql
chmod -R 755 /usr/local/mysql
配置服务及开机自启动、添加服务
cd /usr/local/mysql
cp support-files/mysql.server /etc/rc.d/init.d/mysql
chmod +x /etc/rc.d/init.d/mysql
chkconfig --add mysql
3、初始化mysql
3.1. 联网安装libaio(联网状态)
yum -y install libaio
3.2.离线安装libaio(离线状态)
将包中的 libaio.tar.gz 解压
tar -zxvf libaio.tar.gz
安装 libaio
rpm -ivh *.rpm --force --nodeps
3.3.开始初始化并启动
libaio安装完成之后执行初始化
cd /usr/local/mysql
bin/mysqld \
--defaults-file=/etc/my.cnf \
--user=mysqladmin \
--basedir=/usr/local/mysql/ \
--datadir=/usr/local/mysql/data/ \
--initialize
查看临时密码
cd /usr/local/mysql/data
cat hostname.err |grep password
记录密码
切换用户
su mysqladmin
启动mysql服务
service mysql start
3.4.重置密码 并重启服务
mysql -uroot -p 上面记录的临时密码
mysql> alter user root@localhost identified by 'junchengdata';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'junchengdata' ;
mysql> flush privileges;
mysql> exit;
service mysql restart
五、创建CDH元数据库 ,用户cmf、amon的服务的库并设置密码
登录mysql
mysql -uroot -p junchengdata
create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'junchengdata';
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'junchengdata';
flush privileges;
选择其中一台作为部署amon服务器(第一台),并切换回root用户
su - root
部署amon,将文件中的mysql-connecter jar包上传到指定路径下,并重命名(必须)
mkdir -p /usr/share/java
cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar
六、开始部署CDH(不需要下载依赖安装)
1、解压文件
tar -zxvf cm6.3.1-redhat7.tar.gz
cd /root/CDH6.3.1/cm6.3.1/RPMS/x86_64
2、选择一台机器作为cdh的server并安装server和daemon
cd /root/CDH6.3.1/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
3、配置server服务的mysql连接配置
com.cloudera.cmf.db.host=172.25.12.184:3306
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.password=junchengdata
com.cloudera.cmf.db.setupType=EXTERNAL
4、进入查看日志目录是否生成(目前目录为空没有日志产生)
cd /var/log/cloudera-scm-server
5、启动server服务 并查看运行日志
service cloudera-scm-server start
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
6、在主节点以及其余节点安装agent并修改配置文件
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
vi /etc/cloudera-scm-agent/config.ini
修改:
server_host=localhost (主节点ip)
7、将主deamons 和agent文件分别分发到其余节点并安装
scp cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm root@juncheng002: /root/
scp cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm root@juncheng003: /root/
scp cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm root@juncheng002: /root/
scp cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm root@juncheng003: /root/
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
8、修改所有节点中的agent配置
vi /etc/cloudera-scm-agent/config.ini
server_host=172.25.12.184 (改为主节点ip)
9、所有节点启动Agent
systemctl start cloudera-scm-agent
查看agent 状态
systemctl status cloudera-scm-agent
10、网页访问cdh juncheng001:7180
11、安装httpd
11.1.在线安装
yum -y install httpd
11.2.离线安装(使用)
将httpd压缩包解压,然后进入到目录下按照顺序安装
rpm -ivh apr-1.4.8-5.el7.x86_64.rpm
rpm -ivh apr-util-1.5.2-6.el7.x86_64.rpm
rpm -ivh apr-util-ldap-1.5.2-6.el7.x86_64.rpm
rpm -ivh postgresql-libs-9.2.24-2.el7.x86_64.rpm
rpm -ivh mailcap-2.1.41-2.el7.noarch.rpm
rpm -ivh httpd-tools-2.4.6-93.el7.centos.x86_64.rpm
rpm -ivh httpd-2.4.6-93.el7.centos.x86_64.rpm
12、部署离线parcel源
mkdir -p /var/www/html/cdh6_parcel
cp CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/www/html/cdh6_parcel/
mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha
mv manifest.json /var/www/html/cdh6_parcel/
13、修改httpd配置,启动httpd,网页查看
vim /etc/httpd/conf/httpd.conf
将配置文件中的 ServerName 修改为
ServerName localhost:80
启动
systemctl start httpd
查看启动状态
systemctl status httpd.service 查看启动状态
查看
访问 juncheng001/cdh6_parcel
14、cdh网页中配置parcel 路径(cdh网页如果出问题记得重启server 和agent,然后重连cdh页面)
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7KkL6XmM-1682324791705)(en-resource://database/1094:1)]
将原来的在线下载URL删掉 并将第一个URL修改为 自己的parcel所在的目录 http://172.25.12.184/cdh6_parcel 记得配置内网的ip 或者hostname
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DGuEaOQ3-1682324791706)(en-resource://database/1095:1)]
如果cdh界面不小心消失执行下面操作
service cloudera-scm-server restart (主节点)
cd /var/log/cloudera-scm-server (查案日志)
systemctl restart cloudera-scm-agent (每个节点)
systemctl status cloudera-scm-agent (查看状态)
测试mysql连接 界面
amon amon junchengdata
会有些界面上的警告执行下列
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
CDH集成FLINK
1、将指定文件移动到指定目录下
将文件夹中的 FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar 包移动到 /opt/cloudera/csd 文件夹下
mv FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar /opt/cloudera/csd
修改jar包的权限
chown cloudera-scm:cloudera-scm -R csd/ -R
将 2个parcel包和mainfest.json文件移动到 var/www/html/cdh6_parcel/Flink 中
mv FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel var/www/html/cdh6_parcel/Flink
mv FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha var/www/html/cdh6_parcel/Flink
mv manifest-flink.json var/www/html/cdh6_parcel/Flink/manifest.json
选择parcel 选择配置 添加Flinkparcel文件url 再点击到激活 然后主节点重启Server服务,再添加服务
service cloudera-scm-server restart
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PnAxhuKp-1682324791706)(en-resource://database/1098:1)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WyyfgvzO-1682324791707)(en-resource://database/1096:1)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UvYqvMY6-1682324791707)(en-resource://database/1097:1)]
CDH集成Elasticsearch
一、安装包准备
1、准备已经有的ES jar包
elasticsearch-7.4.2-linux-x86_64.tar.gz
2、准备cm_ext工具
1、有网状态可以 git clone https://github.com/cloudera/cm_ext.git (一定要在linux上git clone 不然会出现脚本格式不对的问题)
2、离线状态(使用中)
已经下载好的离线包
cloud.tar.gz 中
3、maven 安装包准备
下载maven (已经下载好) apache-maven-3.3.9-bin.tar.gz
maven和ES的下载链接:提取码: 9v2w
二、安装maven
将 apache-maven-3.3.9-bin.tar.gz 解压到 /usr/local 并重命名为maven
tar -zxvf apache-maven-3.3.9-bin.tar.gz /usr/local /maven
配置maven环境变量
vi /etc/profile
export MVN_HOME=/usr/local/maven
export PATH=$MVN_HOME/bin:$PATH
source /etc/profile
mvn -v 验证是否配置成功
(cloud中已经打好包并且修改完配置文件并且已经制作好parcel包和CSD包,以下步骤三、四、五、六、 步骤可以省略。如果途中有报错可按顺序执行)
三、将cm_ext 下打包
cm_ext 文件夹下 执行
cd cloud/cm_ext
mvn clean package -Dmaven.test.skip=true
如果离线下载下不下来 记得把 repository.tar.gz 解压到 /root/.m2 文件夹下 再执行
mvn clean package -Dmaven.test.skip=true
四、下载parcel工具(已有),并修改配置
git clone https://github.com/ibagomel/elasticsearch-parcel.git (已经下好与上述cm_ext在相同文件夹cloud下
1.修改git上下载的elasticsearch-parcel文件夹的 cloud/elasticsearch-parcel/csd-src/scripts/control.sh 配置文件
cd loud/elasticsearch-parcel/csd-src/scripts/control.sh
vi cloud/elasticsearch-parcel/csd-src/scripts/control.sh
将里边的java路径修改为 /usr/java/jdk1.8.0_181
locateJava() {
echo
export JAVA_HOME=/usr/java/jdk1.8.0_181
echo "Changing Java Home to: $JAVA_HOME"
export JAVA="$JAVA_HOME/bin/java"
echo "Changing Java to: $JAVA"
echo
}
2、lasticsearch-parcel 下 修改
parcel-src/meta/parcel.json 中 修改为:“depends”: “CDH (>= 5.0), CDH (<< 10.0)”,
csd-src/descriptor/service.sdl 中 修改为:“cdhVersion”: {“min”: 6}
五、制作parcel包 elasticsearch-parcel下 (记得修改路径) 执行
chmod -R 777 elasticsearch-parcel/
POINT_VERSION=5 VALIDATOR_DIR=/root/cloud/cm_ext OS_VER=el7 PARCEL_NAME=ElasticSearch ./build-parcel.sh /root/CDH6.3.1/elasticsearch-7.4.2-linux-x86_64.tar.gz
六、制作CSD文件 elasticsearch-parcel下 执行
VALIDATOR_DIR=/root/cloud/cm_ext CSD_NAME=ElasticSearch ./build-csd.sh
七、/root/cloud/elasticsearch-parcel/build-csd下的 ELASTICSEARCH-1.0.jar 复制到 /opt/cloudera/csd
cp ELASTICSEARCH-1.0.jar /opt/cloudera/csd/
八、build-parcel下的 xxx.parcel 和 manifest.json 复制到 /var/www/html/es/ 下
mkdir /var/www/html/cdh6_parcel/es
cp ELASTICSEARCH-0.0.5.elasticsearch.p0.5-el7.parcel/var/www/html/cdh6_parcel/es/
cp manifest.json /var/www/html/cdh6_parcel/es
九、修改权限并激活
cd /opt/cloudera/csd
chown -R cloudera-scm:cloudera-scm ./*
在cdh中执行上述Flink增加parcel操作然后下载分配激活
cd /opt/cloudera/parcel-repo (先查看一下需不需要修改,安装完parcel之后就是cloud权限)
chown -R cloudera-scm:cloudera-scm ./*
chmod -R 777 /opt/cloudera/parcels/ELASTICSEARCH-0.0.5.elasticsearch.p0.5/config/
十、解决报错
由于可能报错 ulimit: open files: cannot modify limit: Operation not permitted
修改 vim /etc/security/limits.conf 中添加一下四行 记得改成 65536 不是 65535
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096
十一、重启server服务 添加ES服务
service cloudera-scm-server restart
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
安装MongoDB
一、下载
二、选择一个节点中添加mongo压缩包,然后解压到 usr/local/mongodb
tar -zxvf mongodb-linux-x86_64-3.6.20.tgz
mv mongodb-linux-x86_64-3.6.20 /usr/local/mongodb
三、在mongodb目录下创建data、logs目录和logs/mongodb.log文件
mkdir data logs
touch logs/mongodb.log
四、在mongodb 的bin目录下创建mongodb.conf配置文件
vi mongodb.conf
在里边添加以下:
#端口号
port=27017
#数据存放路径
dbpath=/usr/local/mongodb/data
#日志路径
logpath=/usr/local/mongodb/logs/mongodb.log
#拼接日志
logappend=true
#是否在后台运行
fork=true
五、在mongodb的bin目录下编写一个shell脚本
cd /usr/local/mongodb/bin
vi start-mongodb.sh
脚本内容:
nohup ./mongod -f mongodb.conf &
chmod 777 mongodb.conf
chmod 777 start-mongodb.sh
六、bin目录下启动mongodb
cd /usr/local/mongodb/bin
./start-mongodb.sh
七、 测试是否启动成功
./mongo localhost:27017
执行 show dbs
安装oozie界面
mv ext-2.2.zip /var/lib/oozie/
cd /var/lib/oozie
tar -zxvf ext-2.2.tar.gz
chown -R oozie:oozie ext-2.2
然后刷新界面