cdh详细安装文档

weixin_38411472

于 2019-08-02 17:09:24 发布

阅读量1.6k

点赞数 1

分类专栏： cdh 大数据开发环境文章标签： cdh安装 cdh6.2.0安装 mysql安装 cdh错误详解 cdh详细文档

本文链接：https://blog.youkuaiyun.com/weixin_38411472/article/details/98213552

版权

本文档提供CDH6.2.0的完整安装步骤，包括基础环境搭建、mysql安装和cm&cdh安装。通过遵循指南，读者能够避免常见错误，实现快速安装。内容涵盖集群环境配置、免密登录、时间同步、防火墙关闭、jdbc驱动、mysql远程访问以及cm服务启动等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

CDH6.2.0完整安装版

一.简介

对于刚入手的人来说，也许不知道cdh都能做什么，和传统的hadoop有啥区别。今天我简单的做个介绍，cdh你可以认为它就是一个工具，也可以说是一个软件，在这个工具上面存在这很多的大数据框架。它分为免费版和收费版，就免费版来说它包括：ADLS、Accumulo、Flume、HBase、HDFS、Hive、Hue、Impala、Isilon、Java KeyStore KMS、Kafka、Key-Value Store Indexer、Kudu、Oozie、S3 Connector、Sentry、Solr、Spark、Sqoop、YARN、ZooKeeper。
这些框架对于大数据开发人员来说是必不可少的，但是使用老一套的安装方法，需要花费大量的时间，还会出现各种的问题。cdh就是帮我们解决了这个问题，当你将cdh安装完毕后，这些大数据框架可以直接在网页端进行安装。但是在安装cdh之前需要先安装cm(cloudera manager)
之前我在刚入手的cdh的时候由于不是很了解，所以走了很多的弯路，所以当我完全理解之后决定写篇文章。如果你完全按照我的文档安装一定可以安装成功的，如果有问题可以在下方进行留言。希望你可以早日掌握cdh的相关内容。

二.基础环境搭建（三台机器均需安装）

1.首先下载cdh和cm（也可以在文章底部下载我整理好的）：
下载cm安装包：https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/
下载cdh安装包：https://archive.cloudera.com/cdh6/6.2.0/parcels/
2.机器准备：

ip	主机名称
192.168.20.150	cdh1
192.168.20.151	cdh2
192.168.20.152	cdh3

3.编写三台虚拟机的/etc/hosts文件：

192.168.20.150 cdh1
192.168.20.151 cdh2
192.168.20.152 cdh3

4.关闭三台虚拟机的防火墙

A.systemctl status firewalld                         查看防火墙状态
B.systemctl stop firewalld                           关闭防火墙
C.systemctl disable firewalld                        禁止防火墙开机自启

5.三台虚拟机的ssh免密登录

A.ssh-keygen -t rsa                                   一路回车
B.cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys     将公钥存放到authorized_keys文件中
C.chmod 600 ~/.ssh/authorized_keys                    设置权限
注意：三台服务器同时执行以上命令后，将cdh1、cdh2、cdh3的id_rsa.pub文件中内容分别存放到三台机器中。
     确保每台都可以进行免密登录。

6.配置ntp服务，使三台机器时间保持一致

A.yum -y install ntp 安装ntp服务
B.vim /etc/ntp.conf 修改配置文件
找到以下内容并且注释掉：
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
然后添加：
server ntp.aliyun.com
注意：在cdh1也就是主节点上按照以上配置即可，在其余节点上将上面内容注释掉后	添加server cdh1（主节点）
C.service ntpd restart 重启ntp服务（三台）
D.systemctl enable ntpd.service 设置开机启动
E.Date查看三台时间是否一致

7.修改swappiness参数（保证性能）

A.vi /usr/lib/tuned/latency-performance/tuned.conf
B

最低0.47元/天解锁文章