CDH 生产环境安装

最新推荐文章于 2024-06-21 10:40:32 发布
原创 最新推荐文章于 2024-06-21 10:40:32 发布 · 2.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#chd #生产 #安装

环境
  • centos 6.5
  • JDK 8
  • CHD 5.16
  • MySQL 5.7
  • python.2.6 (hue)

以三台vps为例: vps138(主),vps155(从),vps156(从)

Hostname设置

三台的hosts都要相同

$ cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.138 vps138
192.168.1.155 vps155
192.168.1.156 vps156
防火墙设置

三台的iptables都要相同

$ cat /etc/sysconfig/iptables
# Ansible managed
# Manual customization of this file is not recommended.
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]

# default
-A INPUT -i lo -j ACCEPT

#vps
-A INPUT -p tcp -s 192.168.1.155 -m multiport --dports 80,873,3181,4040,4181,7070,7072,7180,7182,7183,8042,8050,8051,8081,8084 -j ACCEPT
-A INPUT -p tcp -s 192.168.1.155 -m multiport --dports 8085,8086,8087,8088,8091,8888,8889,8983,9000,9001,9010,9095,9864,9868,9870 -j ACCEPT
-A INPUT -p tcp -s 192.168.1.155 -m multiport --dports 10002,11000,12321,14000,18088,19888,20550,25000,25010,25020,31079,41414,50070,50075,50079 -j ACCEPT
-A INPUT -p tcp -s 192.168.1.155 -m multiport --dports 50090,50977,60010,60030,63751,64689 -j ACCEPT

-A INPUT -p tcp -s 192.168.1.138 -m multiport --dports 80,873,3181,4040,4181,7070,7072,7180,7182,7183,8042,8050,8051,8081,8084 -j ACCEPT
-A INPUT -p tcp -s 192.168.1.138 -m multiport --dports 8085,8086,8087,8088,8091,8888,8889,8983,9000,9001,9010,9095,9864,9868,9870 -j ACCEPT
-A INPUT -p tcp -s 192.168.1.138 -m multiport --dports 10002,11000,12321,14000,18088,19888,20550,25000,25010,25020,31079,41414,50070,50075,50079 -j ACCEPT
-A INPUT -p tcp -s 192.168.1.138 -m multiport --dports 50090,50977,60010,60030,63751,64689 -j ACCEPT

-A INPUT -p tcp -s 192.168.1.156 -m multiport --dports 80,873,3181,4040,4181,7070,7072,7180,7182,7183,8042,8050,8051,8081,8084 -j ACCEPT
-A INPUT -p tcp -s 192.168.1.156 -m multiport --dports 8085,8086,8087,8088,8091,8888,8889,8983,9000,9001,9010,9095,9864,9868,9870 -j ACCEPT
-A INPUT -p tcp -s 192.168.1.156 -m multiport --dports 10002,11000,12321,14000,18088,19888,20550,25000,25010,25020,31079,41414,50070,50075,50079 -j ACCEPT
-A INPUT -p tcp -s 192.168.1.156 -m multiport --dports 50090,50977,60010,60030,63751,64689 -j ACCEPT

# Drop all except allow
-A INPUT -p tcp -m multiport --dports 80,873,3181,4040,4181,7070,7072,7180,7182,7183,8042,8050,8051,8081,8084 -j DROP
-A INPUT -p tcp -m multiport --dports 8085,8086,8087,8088,8091,8888,8889,8983,9000,9001,9010,9095,9864,9868,9870 -j DROP
-A INPUT -p tcp -m multiport --dports 10002,11000,12321,14000,18088,19888,20550,25000,25010,25020,31079,41414,50070,50075,50079 -j DROP
-A INPUT -p tcp -m multiport --dports 50090,50977,60010,60030,63751,64689 -j DROP
SSH KEY设置

三台都要操作

$ ssh-keygen -t rsa -N "" -f "/root/.ssh/id_rsa" -C "root@`hostname`"
//# vps138
$ cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys
$ chmod 600 /root/.ssh/authorized_keys

将vps138上的authorized_key传到vps155,vps156的/root/.ssh/

JAVA安装

三台都要操作

$ yum install http://192.168.1.238/soft/java/jdk-8u162-linux-x64.rpm
$ cat /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_162
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

$ cat /etc/profile.d/path.sh
export PATH=$PATH:$JAVA_HOME/bin
JDBC安装

三台都要操作

$ mkdir -p /usr/share/java
$ wget http://192.168.1.238/soft/mysql/mysql-connector-java-5.1.46-bin.jar -O /usr/share/java/mysql-connector-java.jar
系统设置

三台都要操作

$ echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
$ echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
$ swapoff -a
$ sysctl -w vm.max_map_count=262144
$ sysctl -w vm.swappiness=1

//# 加入rc.local
$ echo "echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled" >> /etc/rc.local
$ echo "echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag" >> /etc/rc.local
entropy设置

三台都要操作

$ cat /etc/yum.repos.d/epel.repo
[epel]
name=Extra Packages for Enterprise Linux $releasever - $basearch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/epel/$releasever/$basearch
failovermethod=priority
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-$releasever

[epel-debuginfo]
name=Extra Packages for Enterprise Linux $releasever - $basearch - Debug
baseurl=https://mirrors.tuna.tsinghua.edu.cn/epel/$releasever/$basearch/debug
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-$releasever
gpgcheck=1

[epel-source]
name=Extra Packages for Enterprise Linux $releasever - $basearch - Source
baseurl=https://mirrors.tuna.tsinghua.edu.cn/epel/$releasever/SRPMS
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-$releasever
gpgcheck=1

$ yum install -y haveged
$ cat /etc/default/haveged
DAEMON_ARGS="-w 1024"

$ service haveged start
$ chkconfig --add haveged
$ chkconfig haveged on
NTP设置

三台都要操作

$ yum install ntp
$ ntpdate ntp1.aliyun.com
$ hwclock --systohc

vps138作主NTP服务器提供时间同步服务
vps138上运行

$ cat /etc/ntp.conf
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1 
restrict -6 ::1
restrict 192.168.1.1 mask 255.255.255.128 nomodify notrap
server ntp1.aliyun.com prefer
server ntp5.aliyun.com
server 127.0.0.1
fudge 127.0.0.1 stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

$ service ntpd start
$ chkconfig ntpd on
$ ntpq -p

从vps155,vps156同步vps138的时间
vps155,vps156上运行

$ cat /etc/ntp.conf
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1 
restrict -6 ::1
server vps138
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

$ service ntpd start
$ chkconfig ntpd on
$ ntpq -p
MySQL安装

可安装在任一台,这里安装在vps138
参见MySQL 安装并修改密码策略
添加CDH需要的数据库,用户密码:

//# Cloudera Manager Server
mysql> create database cmf DEFAULT CHARACTER SET utf8;
mysql> grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'cmf_password';

//# Oozie
mysql> create database oozie DEFAULT CHARACTER SET utf8;
mysql> grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie_password';

//# Hive Metastore Server
mysql> create database hive DEFAULT CHARACTER SET utf8;
mysql> grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive_password';

//# Hue
mysql> create database hue DEFAULT CHARACTER SET utf8;
mysql> grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'hue_password';

//# Activity Monitor(MapReduce service)
mysql> create database amon DEFAULT CHARACTER SET utf8;
mysql> grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon_password';

//# Reports Manager
mysql> create database rman DEFAULT CHARACTER SET utf8;
mysql> grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'rman_password';

//# Sentry Server
mysql> create database sentry DEFAULT CHARACTER SET utf8;
mysql> grant all on sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry_password';

//# Cloudera Navigator Audit Server(企业版才有)
mysql> create database nav DEFAULT CHARACTER SET utf8;
mysql> grant all on nav.* TO 'nav'@'%' IDENTIFIED BY 'nav_password';

//# Cloudera Navigator Metadata Server(企业版才有)
mysql> create database navms DEFAULT CHARACTER SET utf8;
mysql> grant all on navms.* TO 'navms'@'%' IDENTIFIED BY 'navms_password';

mysql> flush privileges;
mysql> quit;
内部仓库设置

在192.168.1.238 web服务器上,配置CDH内部仓库,便于快速获取包

//# apache默认根目录
$ cd /cache1/web/soft/cdh/

//# CM仓库;
$ wget https://archive.cloudera.com/cm5/repo-as-tarball/5.16/cm5.16.2-centos6.tar.gz
$ tar xvfz cm5.16.2-centos6.tar.gz
$ chown -R www:www /cache1/web/soft/cdh/cm

//# parcel仓库
$ mkdir cloudera-parcels
$ cd cloudera-parcels
$ wget https://archive.cloudera.com/cdh5/parcels/5.16/CDH-5.16.2-1.cdh5.16.2.p0.8-el6.parcel
$ wget https://archive.cloudera.com/cdh5/parcels/5.16/manifest.json
$ chown -R www:www /cache1/web/soft/cdh/cloudera-parcels

yum仓库文件,传到三台VPS上

//# 名称固定为cloudera-manager.repo
$ cat /etc/yum.repos.d/cloudera-manager.repo
[cloudera-cdh5]
# Packages for Cloudera's Distribution for cm, Version 5, on RedHat     or CentOS 6 x86_64
name=Cloudera's Distribution for cm, Version 5
baseurl=http://192.168.1.238/soft/cdh/cm/5
gpgcheck = 0
enabled=1
CM安装

在vps138上运行

$ yum install -y cloudera-manager-daemons
$ yum install -y cloudera-manager-server
$ yum install -y enterprise-debuginfo

配置,使用MYSQL

$ vi  /etc/cloudera-scm-server/db.properties
# Cloudera Manager Server
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost:63751
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.password=cmf_password
com.cloudera.cmf.db.setupType=EXTERNAL

//# 启动服务,查看启动过程
$ service cloudera-scm-server start
$ tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
INFO WebServerImpl:org.mortbay.log: Started SelectChannelConnector@0.0.0.0:7180

如果有报错Unable to retrieve remote parcel repository manifest,可以先不用管,后面会配置;

安装CDH

在CMS启动后,登录CM管理终端(Cloudera Manager Admin Console): http://vps138:7180
默认账户密码: admin/admin
登录之后,会看到

"最终用户许可条款和条件(End User License Terms and Conditions)"页

勾选"是的，我接受最终用户许可条款和条件(Yes, I accept the End User License Terms and Conditions)"
点击"继续(Continue)"

"您想要部署哪个版本？(which edition to install)"页

选择"Cloudera Express",不需要许可证,无限制节点,包含CDH,Cloudera Manager 核心功能,不包含Cloudera Manager 高级功能,Cloudera Navigator,Cloudera Navigator Key Trustee,Cloudera 支持

点击"继续(Continue)"

"感谢您选择 Cloudera Manager 和 CDH"页

列出可安装的程序

将安装此安装程序Cloudera Express5.16.2，您可以稍后通过此安装程序选择以下服务的软件包（可能会涉及到许可证）。

Apache Hadoop（Common、HDFS、MapReduce、YARN）
Apache HBase
Apache ZooKeeper
Apache Oozie
Apache Hive
Hue（已获 Apache 许可）
Apache Flume
Cloudera Impala（许可的 Apache）
Apache Sentry
Apache Sqoop
Cloudera Search（许可的 Apache）
Apache Spark

点击"继续(Continue)"

"为 CDH 群集安装指定主机"页

如果填的是hostname,先在/etc/hosts里设置解析,集群里的都要有相同的配置;

输入

vps138
vps155
vps156

“SSH 端口”: 57891
点击"搜索(Search)"
搜索正常,再点击"继续(Continue)"

选择存储库

“选择方法”: 使用 Parcel (建议)
点击"更多选项"-> “远程 Parcel 存储库 URL”,删除原有的,增加: http://192.168.1.238/soft/cdh/cloudera-parcels ->保存更改
“CDH 版本”: CDH-5.16.2-1.cdh5.16.2.p0.8
勾选: “自定义存储库”: http://192.168.1.238/soft/cdh/cm/5
“自定义 GPG 主要 URL”: http://192.168.1.238/soft/cdh/cm/RPM-GPG-KEY-cloudera

点击"继续(Continue)"

JDK 安装选项

跳过
点击"继续(Continue)"

启用单用户模式

跳过
点击"继续(Continue)"

提供 SSH 登录凭据

“登录到所有主机，作为”: root
“身份验证方法”: 所有主机接受相同私钥
将vps138的/root/.ssh/id_rsa文件下载,并点击"选择文件"加载
“SSH 端口”: 57891

点击"继续(Continue)"

Install Agents

自动安装成功

点击"继续(Continue)"

正在安装选定 Parcel

自动安装成功

点击"继续(Continue)"
如果中途出错，报主机运行状况不良，在3台机器上则将/var/lib/cloudera-scm-agent/cm_guid文件删除，同时执行service cloudera-scm-agent restart

检查主机正确性

检查通过

点击"继续(Continue)"

Select Services

选择"核心 Hadoop"或者按需选择

点击"继续(Continue)"

自定义角色分配

角色尽量分散;

HDFS和YARN

NameNode,SecondaryNameNode,Balancer只能有一个;
ResourceManager,JobHistory Server只能有一个;

Cloudera Management Service

Service Monitor,Activity Monitor,Host Monitor,Event Server,Alert Publisher只能一个;

点击"继续(Continue)"

数据库设置

将之前创建的数据库信息填入

数据库主机名称: vps138:63751
数据库名称 : hive
密码: hive_password

其他类似;
点击"测试连接"
没问题,点击"继续(Continue)"

审核更改

HDFS 块大小(dfs.block.size, dfs.blocksize): 512M

点击"继续(Continue)"

首次运行 命令

会自动运行:
部署客户端配置
启动Cloudera Management Service,ZooKeeper
启动HDFS
启动YARN
启动Hive
启动Oozie
启动Hue

点击"继续(Continue)"

点击"完成"

CDH6.3.2大数据集群生产环境安装(三)之磁盘挂载
nhm_lxy的专栏
04-03 566
CDH6.3.2大数据集群安装之磁盘挂载 mount lsblk df -TH
CDH6.3.2大数据集群生产环境安装(八)之各组件参数调优，yarn参数调优，hdfs参数调优等
nhm_lxy的专栏
04-11 497
CDH6.3.2大数据集群生产环境安装(八)之各组件参数调优，yarn参数调优，hdfs参数调优等
CentOS 7.9 CDH6.3.2集群生产环境实战部署指南
最新发布
luckysign的博客
06-21 1051
1、安装 Cloudera Manager(master节点，本例中cdh01)安装Apache Httpd服务(master节点，本例中cdh01）浏览器登陆CM 管理界面验证：初始用户密码 admin/admin。当你先启动master后启动agent时，否则与以下界面会有所不同。可根据实际情况调整如mysql、mongoDB。选择CDH parcel 版本。Postgresql（翰高）默认登录账号： admin。默认登录密码： admin。
CDH超详细生产环境离线安装文档
m0_49918629的博客
09-02 114
这份文档超详细介绍了cdh安装从磁盘挂载开始，不过一般都不需要这一步，企业可能需要这一步。从hosts配置到时间同步再到数据库安装配置再到cdh安装一应俱全。包你不在踩坑！！！ 附文档目录截图，私信自取 ...
cloudera manager安装
星辰大海，脚踏实地
08-09 1720
cloudera manager安装
Hadoop中公钥与私钥
optics's blog
12-23 1065
生成公钥和私钥后，私钥留给自己用，公钥留给别人用，如以下实现了node1服务器免密码登录node2服务器
CDH搭建大数据平台（6.3.2）超详细，总结
NUT_0的博客
03-04 4426
Cloudera（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 由于组件齐全，安装维护方便，国内已经有不少公司部署了CDH大数据平台，此处我选择CDH 6.3版本。
Centos.离线安装CDH..生产环境详细教程(含Spark.).docx
05-19
### Centos离线安装CDH生产环境详细教程(含Spark.) #### 一、概述 本文档将详细介绍如何在CentOS环境下进行CDH集群的离线安装，并特别关注于包含Spark在内的生产级部署流程。Cloudera提供的CDH（Cloudera ...
CDH-Hbase的安装1
08-03
在生产环境中，还需要关注HBase的监控和维护，包括性能调优、故障排查和扩展性考虑。 总的来说，HBase在CDH中的安装是一个相对简单的流程，它依赖于已有的HDFS和Zookeeper服务。一旦安装完成，HBase就可以作为一个...
CDH5.12&CDH6.0安装文档.zip
07-20
《CDH5.12与CDH6.0大数据集群安装指南》 CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera公司提供的一...通过不断的学习和交流，我们可以更好地利用这些工具，推动大数据技术在生产环境中的应用。
cloudera manager free edition 4.5 安装
快乐程序员的专栏
04-25 3140
1、  硬件配置： 节点 Ip os cpu 内存 磁盘 Jn-48 10.31.72.48 RH5.7 E5620*2  16核 24G SSD40G*2+2T*12 master-41 10.31.72.41 RH5.8
[CDH安装]--CDH5和Cloudera Manager 5要求和支持的版本
欢迎来到我的博客，一起探索代码里的世界！
09-29 9172
原文：https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#os510CDH 5和Cloudera Manager 5要求和支持的版本在企业数据中心中，Cloudera Manager和CDH与Apache Accumulo，Apache Impala（孵化），...
CDH6.x安装教程(附带整合kerberos)
qq_32068809的博客
02-02 5212
一、安装前准备 设置HOST vi /etc/hosts 关闭防火墙 sudo systemctl disable firewalld sudo systemctl stop firewalld 设置SELinux vi /etc/selinux/config 将SELINUX=enforcing 改为SELINUX=permissive，然后重启服务器，或者执行下面命令： setenforce 0 开启NTP服务 # 安装NTP服务.....
(5) cdh搭建 之 错误&解决
qiangweiyan的博客
03-13 9532
一、cloudera-scm-server 启动错误 1.1. Unable to retrieve non-local non-loopback IP address. 2019-07-01 17:55:00,197 ERROR ScmActive-0:com.cloudera.server.cmf.components.ScmActive: ScmActive: Unable to retri...
解决 Unable to retrieve remote parcel repository manifest
热门推荐
周天祥的博客
05-09 11万+
com.cloudera.parcel.components.ParcelDownloaderImpl: Unable to retrieve remote parcel repository manifest java.net.ConnectExce https://archive.cloudera.com/cdh5/parcels/5.14/manifest.json
CDH5.7/5.8离线安装-使用CM5，基于CentOS 6.7
出发
06-01 6584
截至到2016年5月30日，在网上都没有找到离线安装CDH5.6的文章，最新的就是5.6，经过各种试验，总算装好了，记录如下。一、基础环境 1.操作系统：Centos6.5 Minimal版本 2.CDH 5.7 3.Cloudra Manager版本5.7 4.JDK版本oracle-j2sdk1.7-1.7.0update67-1.x86_64.rpm 5.使用VirtualBox
最靠谱的CDH5安装指南
每天积累一点，一年后你会发现，自己变化很大
08-29 2478
字数2106 阅读3520 评论0 喜欢9 系统要求 系统：CentOS 6.5 Cloudera:CM5.2.0 + CDH 5.2.0 内存：主节点4G内存以上，其他节点需要2G以上内存 Hadoop版本选择 目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。 Apache Hadoop：维护人员比较多，更新频率比较快，但是稳定
hue端查看任务日志报错
bigdataprimary的博客
11-21 3646
环境：CDH5.14.0,HIVE,YARN,HDFS都是cdh默认的版本 背景：配置资源池的时候将resource manager的权限从 * 改为指定用户和group 现象：在hue中执行workflow后看不到日志 报错： User [dr.who] is not authorized to view the logs for attempt_1542114179367_1068_...
Windows 服务器系统的服务概述和网络端口要求
weixin_34032827的博客
11-16 519
Active Directory（本地安全机构） Active Directory 在 LSASS 进程下运行，它包括用于 Windows 2000 和 Windows Server 2003 域控制器的身份验证引擎和复制引擎。除了 1024 和 65536 之间的某一范围的临时 TCP 端口外，域控制器、客户端计算机和应用程序服务器还需要通过特定硬编...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值