CDH6.3.1基于centos7安装

CDH6.3.1基于centos7安装

说明：

​ centos版本 : Centos7.X

​ CDH版本: 6.3.1

一、二、三标题需要所有节点执行（安装mysql除外）

所有涉及到的安装包见安装包文件夹附件

​ author–xiaokai

---

一、centos版本区别

• CentOS-7.5-x86_64-bin-DVD1：安装包大小4G多，具有完整依赖包的安装包

• CentOS-7-x86_64-Minimal-1810：mini版centos系统包，安装包1G以内，只有基本依赖包的安装包

  • 注意：如果系统是mini版本，在网络配置好（外网）的情况下需要安装以下依赖：

    yum install -y kernel kernel-headers lrzsz gcc gcc-c++ make vim automake autoconf ncurses-devel lsof net-tools epel-release vim bash-completion kernel-devel sysstat mlocate bzip2 cmake pcre-devel zlib zlib-devel openssl-devel readline-devel iptables-services iptables-utils git wget curl dos2unix libcurl libcurl-devel telnet psmisc zip unzip perl libaio 
    

    一般情况运维人员会安装好系统，给我们用户名/密码，不需要自己安装，只需要问清楚安装包类型即可

---

二、集群初始化

1、网络设置

• vim /etc/sysconfig/network-scripts/ifcfg-eno1

  • ifcfg-eno1是具体网卡，得看服务器具体接网线的是哪个网卡

  • TYPE=Ethernet
    PROXY_METHOD=none
    BROWSER_ONLY=no
    BOOTPROTO=static   					# 设置这个为static，表明静态ip，不会因为机器重启而改变
    DEFROUTE=yes
    IPV4_FAILURE_FATAL=no
    IPV6INIT=yes
    IPV6_AUTOCONF=yes
    IPV6_DEFROUTE=yes
    IPV6_FAILURE_FATAL=no
    IPV6_ADDR_GEN_MODE=stable-privacy
    NAME=eno1
    UUID=d6060659-5c61-49f6-8572-92c3488a0c57
    DEVICE=eno1
    ONBOOT=yes  								# 设置为yes，网络开机启动
    IPADDR=10.2.11.200 							# 设置本机实际物理ip
    NETMASK=255.255.255.0 						# 设置掩码
    GATEWAY=10.2.11.254 						# 设置网关
    

  • 配置DNS解析

  • vim /etc/resolv.conf
    
    # Generated by NetworkManager
    search com
    nameserver 8.8.8.8  		# google的DNS解析服务器
    nameserver 10.2.11.254		# 物理ip网关DNS解析
    

  • 重启网络

    • service network restart

2、主机名设置

• vim /etc/hostname
  • 输入自定义的用户名：例如hadoop001、hadoop002、hadoop003

3、hosts文件修改

• vim /etc/hosts

  • 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    
    # 增加如下：ip 主机名（这样主机之间可以通过主机名直接网络互通）
    10.2.11.200 hadoop001
    10.2.11.201 hadoop002
    10.2.11.202 hadoop003
    

4、关闭防火墙和清空规则

systemctl stop firewalld 		# 停止防火墙
systemctl disable firewalld		# 取消防火墙自启动
iptables -F						# 清空防火墙规则（可做可不做）

5、selinux关闭

• vim /etc/selinux/config

  • # This file controls the state of SELinux on the system.
    # SELINUX= can take one of these three values:
    #     enforcing - SELinux security policy is enforced.
    #     permissive - SELinux prints warnings instead of enforcing.
    #     disabled - No SELinux policy is loaded.
    
    SELINUX=disabled    # 此处设置为disabled，永久关闭selnux（linux的一种自我保护机制）
    
    # SELINUXTYPE= can take one of three two values:
    #     targeted - Targeted processes are protected,
    #     minimum - Modification of targeted policy. Only selected processes are protected. 
    #     mls - Multi Level Security protection.
    SELINUXTYPE=targeted
    

6、时区同步

• 参考博客【Centos7服务器集群配置时间同步】(https://blog.youkuaiyun.com/zhengzaifeidelushang/article/details/109412046)

7、重启集群每台机器

• 一定要重启使初始化配置生效！！！

---

三、环境准备

1、jdk安装

1. 创建目录jdk /usr/java/jdk1.8.0_181

   • mkdir -p /usr/java

2. 解压jdk-8u181-linux-x64.tar.gz

   • tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/java/

3. vim /etc/profile

   # 文件末尾追加如下配置
   export JAVA_HOME=/usr/java/jdk1.8.0_181
   export PATH=${JAVA_HOME}/bin:${PATH}
   

4. 环境变量重新初始化

   source /etc/profile

5. 验证jdk是否安装成功

   • java -version
   • 出现jdk版本信息表示安装成功

2、mysql安装

1. 查看mysql是否安装，如果安装了，卸载mysql

   • 查看: rpm -qa|grep mysql

   • 卸载: rpm -e --nodeps 查看得到的mysql包全名

     • 示例

       [root@hadoop102 桌面]# rpm -qa|grep mysql
       mysql-libs-5.1.73-7.el6.x86_64
       
       [root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
       

2. 安装mysql服务端

   • rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

3. 查看产生的随机密码

   • cat /root/.mysql_secret

4. 查看mysql状态

   • service mysql status

5. 启动mysql

   • service mysql start

6. 安装mysql客户端

   • rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

7. 登录mysql

   • mysql -u root -p OEXaQuS8IWkG19Xs（第三步看到的mysql随机密码）

8. 修改root密码

   • SET PASSWORD=PASSWORD(‘password’);

9. 退出mysql

   • exit

10. 安装mysql依赖包

• rpm -ivh MySQL-shared-5.6.24-1.el6.x86_64.rpm

11. 登录mysql

    • mysql -u root -p password（设置的新密码）

12. 使用mysql数据库

    • use mysql

13. 修改user表，把Host表内容修改为%

    • update user set host=‘%’ where host=‘localhost’;

14. 删除root用户的其他host

    delete from user where Host='hadoop001'; 	--本机主机名
    delete from user where Host='127.0.0.1';
    delete from user where Host='::1';
    

15. 刷新

    • flush privileges;

16. 退出

    • exit

3、数据库初始化

-- 第一步: 创建后续会用到的数据库
create database cmf default character set utf8;
create database amon default character set utf8;
create database hive default character set utf8;
create database hue default character set utf8;
create database oozie default character set utf8;

-- 数据库授权用户
grant all privileges on  cmf.* to 'cmf'@'%' identified by 'password';
grant all privileges on amon.* to 'amon'@'%' identified by 'password';
grant all privileges on  hive.* to 'hive'@'%' identified by 'password';
grant all privileges on hue.* to 'hue'@'%' identified by 'password';
grant all privileges on  oozie.* to 'oozie'@'%' identified by 'password';

-- 刷新权限
flush privileges;

---

四、cloudera manager环境安装

1、mysql驱动准备（主服务器）

• 创建目录
  • mkdir -p /usr/share/java
• 拷贝mysql驱动并更名
  • cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar

2、主节点安装（主服务器）

# 依次安装（时间过长，耐心等待）
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

# 依次启动，先启动server，等待30秒再启动agent（停止命令就是把start换为stop）
service cloudera-scm-server start
service cloudera-scm-agent start 

3、副节点安装（其他节点服务器）

# 依次安装（时间过长，耐心等待）
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

# 启动agent（停止命令就是把start换为stop）
service cloudera-scm-agent start 

---

五、parcel包安装大数据组件

1、httpd安装

• 安装http服务

  • yum install -y httpd

• 创建文件夹

  • mkdir -p /var/www/html/cdh6.3.1_parcel

• 拷贝parcel文件

  cp CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/www/html/cdh6.3.1_parcel/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel
  
  # 注意需要更名把1去掉
  cp CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6.3.1_parcel/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha
  
  cp manifest.json /var/www/html/manifest.json
  

• 启动http服务

  • service httpd start

• 运行如下命令

  # 每台主机都运行，和http服务没关系，解决后续bug
  
  echo never > /sys/kernel/mm/transparent_hugepage/defrag
  echo never > /sys/kernel/mm/transparent_hugepage/enabled
  

2、parcel服务器部署

• 看B站视频【CDH6.3.1企业集群真正离线部署】(https://www.bilibili.com/video/BV1YE41117xM)

• 直接看第八节即可，从22:00分钟看起就可以，界面点点点就可以完成安装（截图太麻烦所以就不截图了）

• 温馨提示，如果想把b站视频保存到本地，登录如下网站：【唧唧】(https://www.jijidown.com/mobile)

---

六、各组件安装

• 具体见图形页面点击安装即可，也是点点点，没什么技术含量，具体安装的组件百度一下跟着操作就可以