cdh系列大纲（目录先看）

最新推荐文章于 2024-07-19 14:50:16 发布

转载最新推荐文章于 2024-07-19 14:50:16 发布 · 215 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://blog.51cto.com/12445535/2366191

文章标签：

#大数据 #数据库 #java

本文介绍了搭建庞大CDH系统的全流程及优化方法。包括搭建前硬件选型、版本控制、Linux优化、角色规划等，还阐述了搭建过程，如前期优化、mysql搭建等。同时提及HDFS、HBase等组件的性能调优，强调查看官网参数资料的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需要搭建一个庞大的cdh系统 //写一个博客系列从无到有自己思想的升华！
根据此系统进行相应的优化
构思：
1、搭建cdh 前硬件资源的选型 //这里就要针对hadoop生态圈去选择什么样的硬件 cpu 硬盘厂家等
2、搭建cdh 版本控制，各个版本的相应的信息
3、搭建cdh 生产环境前的Linux 优化
4、搭建cdh 集群时候的角色规划
5、搭建cdh 生产环境搭建
6、搭建cdh 后hdfs集群优化
7、搭建cdh 后hbase集群的相关优化（HDFS相关配置优化，HBase服务器端优化（GC优化、Compaction优化、硬件配置优化），列族设计优化，客户端优化等）

cdh搭建过程
大体过程分为这几部
1、前期优化
2、mysql搭建
3、jdk
4、jdbc
5、cdh具体搭建

//在这里，需要去了解4大组件的性能调优 hdfs hbase yarn kafka
先从hdfs hbase开始
4、笔者总结至少有如下几个方面：
//HDFS相关配置优化，HBase服务器端优化（GC优化、Compaction优化、硬件配置优化），列族设计优化，客户端优化等，
其中客户端优化在前面已经通过超时机制、重试机制讲过，后面笔者会继续分别介绍其他三个优化重点。
重要的一点，需要升入查看cdh官网的一些参数资料*****

转载于:https://blog.51cto.com/12445535/2366191