大数据系列 | CDH6.2大数据平台安装部署、原理和使用介绍

本文介绍了大数据技术生态中Hadoop、Hive、Spark的关系,强调了Hadoop的存储和计算功能,以及Hive作为SQL接口的作用。接着详述了Cloudera Distribution Hadoop (CDH)集群的部署过程,包括环境准备、Cloudera Manager的安装、管理与使用,以及如何通过Cloudera Manager添加新节点。文章提供了详细的步骤和配置指导,适合大数据环境搭建和管理的学习者。

1. CDH介绍

2. CDN集群规划

   CDH是Cloudera的100%开源平台发行版,包括Apache Hadoop,专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成,Cloudera创建了一个功能先进的系统。
   Cloudera Manager的功能:
   ● 管理:对集群进行管理,例如添加、删除节点等操作
   ● 监控:监控集群的健康情况,对设置的各种指标和系统的具体运行情况进行全面的监控
   ● 诊断:对集群出现的各种问题进行诊断,并且给出建议和解决方案
   ● 集成:多组件可以进行版本兼容间的整合

   服务器信息:

服务器IP地址 主机名 硬件配置 操作系统版本 角色
172.26.3.111 cdh01 8C16G/200G CentOS 7.9.2009
CDH是Apache Hadoop相关项目的最完整,经过测试的流行发行版。 CDH提供了Hadoop的核心元素 - 可扩展的存储分布式计算 - 以及基于Web的用户界面重要的企业功能。 CDH是Apache许可的开放源码,是唯一提供统一批处理,交互式SQL交互式搜索以及基于角色的访问控制的Hadoop解决方案。 Cloudera作为一个强大的商业版数据中心管理工具,提供了各种能够快速稳定运行的数据计算框架,如Apache Spark;使用Apache Impala做为对HDFS,HBase的高性能SQL查询引擎;也带了Hive数据仓库工具帮助用户分析数据; 用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库;Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera Navigator Optimizer去对Hadoop上的计算任务进行一个可视化的协调优化,提高运行效率;同时Cloudera中提供的各种组件能让用户在一个可视化的UI界面中方便地管理,配置监控Hadoop以及其它所有相关组件,并有一定的容错容灾处理;Cloudera作为一个广泛使用的商业版数据中心管理工具更是对数据的安全决不妥协! CDH 提供: 灵活性 - 存储任何类型的数据,并使用各种不同的计算框架进行处理,包括批处理,交互式SQL,自由文本搜索,机器学习统计计算。 集成 - 在一个可与广泛的硬件软件解决方案配合使用的完整Hadoop平台上快速启动并运行。 安全 - 过程控制敏感数据。 可扩展性 - 启用广泛的应用程序并进行扩展扩展,以满足您的需求。 高可用性 - 充满信心地执行关键业务任务。 兼容性 - 利用您现有的IT基础设施资源。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

降世神童

学都学了,看也看了,感谢打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值