简单的cdh平台搭建

1、软件

electerm：类似于xshell的远成连接

虚拟机Vbox可能需要下载VC_redist

镜像系统：CentOS-7-x86_64-Minimal-2009.iso

2、虚拟机创建

1、主机映射虚拟机IP

设置网络，关闭虚拟机然后新添加网络选择为：仅仅本机

路径：C:\Windows\System32\drivers\etc\hosts

如果没有hosts：使用命令提示符（管理员）
for /f %P in ('dir %windir%\WinSxS\hosts /b /s') do copy %P %windir%\System32\drivers\etc & echo %P & Notepad %P

2、更改主机名（3台）

hostnamectl -h更改主机名字，其中set-hostname NAME更改主机名

3配置host

vi /etc/hosts

192.168.56.101 cdh1 192.168.56.102 cdh2 192.168.56.103 cdh3

4、设置免密操作（3台）

1、密钥生成：

ssh-keygen，生成其中有公钥于私钥

2、将密钥同步到其他的机子上

ssh-copy-id name ，其中name为要同步到的机子上

3、时间同步（chrony）

1、路径

打开/etc/chrony.conf，然后将原来的server注释掉然后，

第一台新加ntp.aliyun.com并取消注释local stratum 10

后面两台添加，server he2 iburst，其中he2为第一台机子的名称不取消注释local stratum 10

2、重启

systemctl restart chronyd，重新启动。

chronyc sources，查看服务，即查看更改的时间

4、防火墙关闭（3台）

查看状态：systemctl status firewalld

关闭防火墙： systemctl stop firewalld.service

防火墙禁用： systemctl disable firewalld.service

结果【Active: inactive (dead)】

5、selinux（3台）

路劲： vi /etc/selinux/config更改其中的SELINUX=disabled

查看：sestatus【结果：SELinux status: enabled】

setenforce 0

6、swap（3台）

添加：echo vm.swappiness=0>>/etc/sysctl.conf

更新：sysctl -p【结果：vm.swappiness = 0】

7、Huge pages（3台）

查看：cat /sys/kernel/mm/transparent_hugepage

第一台先跑这个

echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag

更改（两个文件）：

vi /etc/rc.d/rc.local(添加上面两行)

更改权限：chmod +x /etc/rc.d/rc.local

查看是否更改完成：ls /etc/rc.d/rc.local

8、yum

将文件拷贝到虚拟机一共四个（

文件（2）mysql-connector-java.jar，mysql-community-release-el7-5.noarch.rpm

文件夹（2）cm6.3.1，cdh6.3.2

）

将jdk-8u291-linux-x64.rpm移动到cm6.3.1中

1、第一台机子：

yum repolist enabled

yum install httpd

yum install createrepo

yum install epel-release

systemctl start httpd 启动 开机自启systemctl enable httpd

systemctl status httpd查看状态

通过映射（或IP）在网页上查看：http://he2/

1、配置文件

cd /etc/yum.repos.d

复制：cp CentOS-Base.repo ./CentOS-Local.repo

更改复制文件：vi CentOS-Local.repo

更改类容：[base-local] name=CentOS-Local baseurl=http://cdh1/cdh_local_repo gpgcheck=0 enabled=1

2、第二台

安装：

yum install net-tools yum install epel-release

3、后续操作

移动cm文件：mv cm6.3.1/ /var/www/html/cdh_local_repo，其中，后面的部分是可以更改 的，但是在配置文件的时候文件也要改

createrepo /var/www/html/cdh_local_repo/

yum repolist

移动cdh：mv cdh6.3.2/ /var/www/html/parcels

scp /etc/yum.repos.d/CentOS-Local.repo cdh2:/etc/yum.repos.d/

scp /etc/yum.repos.d/CentOS-Local.repo cdh3:/etc/yum.repos.d/

9、安装MySQL

（仅第一台）安装MySQL：

rpm -ivh mysql-community-release-el7-5.noarch.rpm

创建文件mkdir /usr/share/java（另外两台也要创建）

复制文件：cp mysql-connector-java.jar /usr/share/java/

将java包发送到另外两台机子：scp mysql-connector-java.jar cdh2:/usr/share/java

安装MySQL服务：yum install mysql-server

启动MySQL：systemctl start mysql

进入mysql并使用：use mysql

查看用户：select user,host from user;

删除用户：delete from user where host='cdh1';

更改密码：grant all privileges on . to root@'%' identified by 'root';

完成：flush privileges;

再次进入：mysql -h192.168.56.101 -uroot -p

重新进入设置编码：

1. create database metastore default character set utf8;

2. create database hue default character set utf8;

3. create database scm default character set utf8;

4. flush privileges;

10、安装jdk

yum list | grep jdk

下载jdk1.8：yum install jdk1.8（三台）

yum install cloudera-manager-agent（三台）

yum install cloudera-manager-daemons（第一台）

yum install cloudera-manager-server（第一台）

查看最后是否安装完成：yum list | grep cloudera

更改配置文件（三台）：vi /etc/cloudera-scm-agent/config.ini更改其中的server_host=he2

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm --host he2 root root

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm --host cdh2 root root

systemctl start cloudera-scm-agent(三台) systemctl status cloudera-scm-agent systemctl start cloudera-scm-server systemctl status cloudera-scm-server

systemctl enable cloudera-scm-agent systemctl enable cloudera-scm-server

查看端口应用：netstat -lntp

前端查看：http://he2:7180/cmf/login

11、用户

groupadd supergroup

usermod -a -G supergroup root

选择存储库的位置：http://192.168.56.101/parcels/

metastore

hue