secretWHD的博客

前言 承蒙朋友的关照，让我在短时间内从零学会安装使用CDH和Docker，并将其融会贯通，完成Docker搭建CDH集群的工作。在这我也将整个安装流程和心得，尽可能详细的阐述清楚，让各位在安装搭建之路上，少走弯路，理清思路。 本制作安装的全部流程，在虚拟机，阿里云，腾讯云上都可实践制作部署，使用的版本情况：CentOS 7，CDH6.3 ，MySQL5.7 ，JDK1.8 等。 根据Docker特性和CDH的安装流程，按如下图进行操作：大概流程就是制作...

前言 这是为了完成CDH manager镜像和agent镜像准备的制作环境，这个步骤可以在虚拟机上完成准备，只是制作镜像包，还不涉及安装部署。准备环境1. 更新yum源yum install -y vim wget ntp net-tools \&& mkdir -p /etc/yum.repos.d/repo_bak \&& mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/repo_bak/ \&....

前言根据CDH安装流程来看，需要分别安装cloudera-manager-server节点 和 cloudera-manager-agent节点，两者安装步骤和安装包不一样，也是考虑到后续方便给CDH添加新节点，所以单独将这两个节点安装到不同的容器内接下来先安装cloudera-manager-server节点的内容1. 创建并运行server容器创建运行容器参数说明：参数 说明 -d 后台运行容器 -name 容...

1. 创建并运行agent容器docker run -d \--hostname agentserver \--name agentserver \--privileged=true \server/bashimage \/usr/sbin/init \&& docker ps结果：9bba31143dcf70a4775a7d20085ea277f940f67e132cfe9b8d7001fa92189d87CONTAINER ID IMAGE

到这一步已经可以拿去现场部署了，asrservermaster.tar.gz 和asrserverslave.tar.gz已经环境搭建好，接下来展示到现场如何安装现场宿主机的环境提前准备好，集群规模在一台宿主机上分三个节点，分别是server001,server002,server003这三台1.创建集群网络docker network create --subnet=172.30.0.0/24 cdh-net \ && docker network ls \ &am.

登陆Cloudera Manager平台http://192.168.60.100:7180 账号密码：admin/admin1.11.21.3 免费2.12.22.32.4 选择CDH和Flink2.5将parcel包内的Hadoop，Hive等组件分发到各个节点进行解压激活2.63.1 自行选择自定义选择Zookeeper，HDFS，Yarn，Hive3.2 DataNode和Zo......

前言 基于前面的搭建，就会发现三台容器都是发布到一台物理机上，在一台物理机上实现了CDH集群的效果，这拿来测试还行，当时实际环境下，资源是远远不够用的。 接下来，将基于前面的的步骤，使用安装包搭建完全分布式的CDH集群，在多个物理机上时间CDH集群的搭建。 跨服务容器之间的通讯问题是搭建完全分布式CDH集群的难点，这里将使用Dokcer Swarm网络解决了这个问题。1. 拷贝安装包将镜像安装包拷贝到各个节点主节点拷贝 master-serv...