本文介绍了CDH的集群搭建过程，强调了Zookeeper在HA中的作用，以及CDH如何简化Hadoop部署的复杂性。尽管从1台到1000台的扩展主要涉及细节和依赖关系，但CDH通过提供一站式解决方案，如Cloudera Manager，降低了管理难度。此外，文章还提及了Hadoop生态系统中的其他组件，如HBase、Hive和MapReduce，并指出大数据平台通常不直接访问外网。
1000台和1台搭建没有区别：
主要是流程和zookeeper
先搭建一台，然后scp分发就好了
Ha,两个namenode，4个journalnode
Hdfs的持久化数据：
Edis:存放在外部的集群中
Apache Hadoop 不足之处
版本管理混乱
部署过程繁琐、升级过程复杂
兼容性差
安全性低
Hadoop 发行版
Apache Hadoop
Cloudera’s Distribution Including Apache Hadoop（CDH）
Hortonworks Data Platform (HDP)
MapR
EMR
…
CDH有4.X，5.X
Clouder公司：
CDH是一个包，里边包含很多的版本号。
用一台格式化
另一台同步过去。
Zkfc将人解耦出来。
Zkfc启动，首先需要
用zkfc格式化zookeeper
4台和1000台没有什么区别，主要是一些细节步骤，依赖关系。
1000台已填就能搭建完成，只是需要拷贝，浪费时间。
Hadoop发行版
Linux:centos
Genolinux
内核只有一个，一堆软件。
CDH:一个包，由Cloudera公司提供的一些版本和号
Hba
最低0.47元/天 解锁文章
扫一扫
2747
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
