CM阿里云安装Cloudera Mananger

Cloudera Mananger安装

附软件安装链接链接：https://pan.baidu.com/s/1lOWq9KjY2YQtoiJmYe0TUQ
提取码：7456
tip:失效请私信

0.准备好三台服务器

1.准备虚拟机并ssh免密登录

## 注意！vi /etc/hosts
三台机器分别免密
ssh-keygen -t rsa

ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

2.JDK

tar -zxvf jdk-8u45-linux-x64.tar.gz -C /opt/apps/

配置环境变量
vi /etc/profile
...
export JAVA_HOME=/opt/apps/jdk
export CLASSPATH=.:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
...
source /etc/profile

查看版本
java -version

3.MYSQL

3.1安装mysql

在第一台机器上上传mysql的rpm包
1.yum -y localinstall mysql-community-release-el6-5.noarch.rpm
2.yum -y install mysql-server
安装完毕
3.service mysqld start
4.mysqladmin -uroot password '123456'
5.mysql -uroot -p123456
##6.修改user权限
use mysql;
desc user;
select User,Host,Password from user;
#修改user
update user set host='%' where host='localhost';
#删除root用户没还记得其他host
delete from user where host!='%';
#刷新
flush privileges;
#查看修改之后的权限
select User,Host,Password from user;

3.2创建CM用的四个数据库

1.修改user表权限
mysql -uroot -p123456
use mysql;
desc user;
select User,Host,Password from user;
修改把Host表内容修改为%
update user set host='%' where host='localhost';
删除root用户的其他host
delete from user where host!='%';
刷新
flush privileges;

2.创建数据库
create database if not exists amon default charset utf8 collate utf8_general_ci;

create database if not exists hive default charset utf8 collate utf8_general_ci;

create database if not exists oozie default charset utf8 collate utf8_general_ci;

create database if not exists hue default charset utf8 collate utf8_general_ci;

3.3三台机器安装依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-iibs redhat-lsb

4.CM安装部署

4.1CM解压安装配置

1.三台机器分别创建cm目录监控
mkdir /opt/apps/cm

2.上传并解压安装到/opt/apps/cm目录
tar -zxvf cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz -C /opt/apps/cm

3.三台机器创建用户cloudera-scm
useradd \
--system \
--home=/opt/apps/cm/cm-5.16.2/run/cloudera-scm-server \
--no-create-home \
--shell=/bin/false \
--comment "Cloudera SCM User" cloudera-scm

tip:
--system 创建一个系统账户
--home 指定用户登入时的主目录，替换系统默认值/home/<用户名>
--no-create-home 不要创建用户的主目录
--shell 用户登录的shell名
--comment 用户的描述信息

4.修改CM Agent配置
修改文件/opt/apps/cm/cm-5.16.2/etc/cloudera-scm-agent/config.ini的主机名称
vim /opt/apps/cm/cm-5.16.2/etc/cloudera-scm-agent/config.ini
[General]
# Hostname of the CM server.
server_host=hadoop1

5.配置CM的数据库
将mysql的驱动包拷贝到/usr/share/java/目录下
mkdir /usr/share/java/
cp mysql-connector-java-5.1.46-bin.jar mysql-connector-java.jar
mv mysql-connector-java.jar /usr/share/java/

jar包名修改为mysql-connector-java.jar

6.使用CM自带脚本，在mysql中创建CM库
/opt/apps/cm/cm-5.16.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop1 -uroot -p123456 --scm-host hadoop1 scm scm scm

7.三台机器分发cm
scp -r /opt/apps/cm/ hadoop2:/opt/apps/
scp -r /opt/apps/cm/ hadoop3:/opt/apps/

8.创建Parcel-repo
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

9.拷贝下载文件
三个文件上上传到/opt/cloudera/parcel-repo下
cp CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo

10.sha1重命名为sha
mv CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha

11.第一台机器上创建目录/opt/cloudera/parcels
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

4.2启动CM服务

1.启动服务节点 1
/opt/apps/cm/cm-5.16.2/etc/init.d/cloudera-scm-server start

2.启动工作节点 1 2 3
/opt/apps/cm/cm-5.16.2/etc/init.d/cloudera-scm-agent start

tip:查看日志
tail -f /opt/apps/cm/cm-5.16.2/log/cloudera-scm-server/cloudera-scm-server.log

hadoop1:7180
用户密码admin

5.安装hdfs.yarn.zookeeper

1.安装
2.hdfs -> 配置 -> 关闭检查hdfs权限 -> 重启

6.安装kafka

1.第一台机器创建目录
mkdir /opt/cloudera/csd

2.上传.sha .parcel到/opt/cloudera/parcel-repo目录下
.sha1重命名.sha

3.CM选择parcel -> 检查parcel -> kafka点击分配 -> 激活
->添加服务 三台主机 -> 默认安装完成

tip:
安装失败 cd /var/local/kafka/data/meta.properties
broker.id要一致

启动不起来 另外两台创建
cd /var/local/kafka/data
vi meta.properties

version=0
broker.id=?  #->查看每台机器的broker.id

再修改->
kafka -> 配置 -> 搜heap  修改Java Heap为256  保存并重启

7.安装hive

1.选择第一台机器 继续下一步

2.windows访问hive
hive -> 操作 -> 下载客户端配置 
hive的四个配置文件拷贝到idea的resource目录下即可访问

8.安装spark

1.把SPARK2_ON_YARN-2.4.0.cloudera2.jar上传到/opt/cloudera/csd下面

2.上传.parcel和.sha到/opt/cloudera/parcel-repo下
.sha1重命名.sha

3.更新parcel
CM -> 主机 -> parcel -> 
spark2 -> 分配激活 -> 重启CM服务(只需要重启server即可)
/opt/apps/cm/cm-5.16.2/etc/init.d/cloudera-scm-server restart
重启网页CM service服务 ->
完成spark2添加选择依赖关系 -> 带有hive的hdfs
-> HistoryServer选择一台机器(2)  gateway三台机器
->
配置java路径 ->
所有主机(三台机器都要配)->配置->java->jdk路径 /opt/apps/jdk
-> 重启服务

ok -> 
spark2-shell --queue spark

4.配置内存

9.其他配置

1.hdfs ->配置
dfs.client.use.datanode.hostname -> 勾选使用DataNode主机名称
replication -> 复制因子1

2.yarn -> 配置
cpu-v -> 容器虚拟CPU内核4
yarn.scheduler.maximum-allocation-vcores -> 最大容器虚拟CPU内核4
yarn.scheduler.maximum-allocation-mb -> 最大容器内存4
yarn.nodemanager.resource.memory-mb -> 容器内存7

scheduler -> 
Scheduler类 -> 选择scheduler.capacity.CapacityScheduler
容量调度程序配置高级配置代码段 -> 
yarn.scheduler.capacity.root.queues -> spark,hive
yarn.scheduler.capacity.root.capacity -> 100
yarn.scheduler.capacity.root.spark.capacity -> 80
yarn.scheduler.capacity.root.hive.capacity -> 20


3.关闭spark动态分配资源参数
spark2 -> 配置
spark.dynamicAllocation.enabled -> 取消勾选
hive -> 配置
spark.dynamicAllocation.enabled -> 取消勾选

123完毕重新部署

10.安装oozie

第三台机器作为oozieServer
(装在其他机器
mkdir /usr/share/java
scp /usr/share/java/mysql-connector-java.jar hadoop2:/usr/share/java/
复制过去+mysql驱动包)

11.安装hue

装在第三台机器
安装hue -> webUI  -> 账号密码admin
进入hive创建一张表
set mapred.job.queue.name=hive;
set mapreduce.job.queuename=hive;
set mapred.job.queue.names=hive;

12.安装kudu

1.角色分配
Master->第一台 
TableServer->所有主机

2.审核更改->
/data/kudu/master
/data/kudu/taster

13.安装Impala

第三台机器
依赖关系->hdfs+hive+kudu -> 默认安装完毕ok

hue -> 配置 -> Impala服务 -> 勾选Impala -> 重启hue

impala-shell

tip:创建新表元数据不会自动刷新需要手动刷新
invalidate meatdata;