CDH-5.8.5部署全过程

本文详细记录了在CentOS 7.4上部署CDH-5.8.5的全过程,包括系统准备、离线配置、元数据设置、启动CDH集群以及页面部署。通过本地yum源部署,确保所有节点同步并配置HTTP服务,最终成功部署了包括Hadoop、YARN、ZK、Hive和Hue在内的服务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

CDH-5.8.5 部署全过程

最近公司部署测试环境,记录一下部署过程。本次部署采用的时虚拟机部署,系统为 CentOS Linux release 7.4.1708 (Core),部署的CDH的版本为CDH-5.8.5

1.系统准备
1.配置防火墙(所有节点执行)

	查看防火墙状态
	systemctl status firewalld
	关闭防火墙
	systemctl stop firewalld
	禁止开机启动
	systemctl disable firewalld
	
2.永久关闭Linux-SELINUX(所有节点执行)
	vi /etc/sysconfig/selinux
		修改SELINUX属性值为disabled
		SELINUX=disabled
	配置完成需要重启
	
3.配置hosts映射(所有节点执行)
	vi /etc/hosts
追加
	192.168.11.11 cdh11
	192.168.11.12 cdh12
	192.168.11.13 cdh13
	
4.配置ssh免密登录(所有节点执行)
	ssh-keygen -t rsa  3次回车
密钥生成在/root/.ssh文件夹下
发送密钥到其他节点
	ssh-copy-id 主机名(cdh11,cdh12,cdh13)
	
5.安装JDK(所有节点执行)
创建文件夹 
	mkdir /usr/java
解压jdk到此文件夹下
	/usr/java/jdk1.8.0_144
配置环境变量
	#JAVA_HOME
	export JAVA_HOME=/usr/java/jdk1.8.0_144
	export JRE_HOME=${JAVA_HOME}/jre   
	export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   
	export PATH=${JAVA_HOME}/bin:$PATH
刷新配置文件
	source /etc/profile
验证安装
	[root@cdh11 java]# java -version
	java version "1.8.0_144"
	Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
	Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
6. 所有节点安装依赖
	yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
2.配置离线部署
  1. 主节点安装Mysql,本次部署cdh11为主节点

    在CDH11节点部署mysql服务,用来存储元数据

    https://blog.youkuaiyun.com/onionm/
CDH-6.3.2是由Cloudera提供的一个开的Hadoop生态系统版本。CDH包含了许多Apache项目,如Hadoop、HBase、Hive、Impala等,并且集成了Cloudera自家开发的一些工具和服务。 要下载CDH-6.3.2,首先需要访问Cloudera官网(www.cloudera.com)。在官网上,可以找到下载页面,其中包含了各个版本的CDH。 在下载页面上,可以找到CDH-6.3.2的下载链接。点击相关链接后,会跳转到下载页面。在下载页面上,可以选择各个组件的二进制文件、文档以及示例代码等。 选择相应的组件二进制文件后,会开始下载CDH-6.3.2的安装包。下载的速度取决于网络连接的速度和服务器的负载情况。 一旦下载完成,就可以在本地进行安装。在安装之前,需要确保系统满足CDH的运行要求,如硬件配置和操作系统版本等。 CDH-6.3.2的安装过程是相对复杂和耗时的,需要仔细按照官方提供的文档进行操作。安装过程涉及到配置各个组件的参数、设置集群的配置文件以及启动服务等等。 一旦安装完成,就可以开始使用CDH-6.3.2了。CDH提供了一个Web界面,可以通过浏览器访问进行集群管理和监控。同时,也可以使用相应的命令行工具来操作和管理集群。 总结来说,要下载CDH-6.3.2,首先需要访问Cloudera官网的下载页面,选择相应的组件二进制文件进行下载。然后,按照官方文档的指引进行安装、配置和启动。最后,通过Web界面或命令行工具来管理和操作集群
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值