基于Apache 开源组件搭建大数据集群

博客探讨了不同大数据发行版的优缺点,包括CDH的收费策略、云厂商如阿里云的数据服务平台及其高昂费用,以及Apache开源版本的复杂性和适用场景。适合大企业与个人学习的Apache版本在组件选型上有较高要求,而云服务则为没有技术团队的公司提供了便捷但昂贵的解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

各发行版本间的对比

  • CDH 从6.3版本之后开始收费 对中小企业来讲增加了成本 ,CDH 6.3.X 版本之前的还是免费的 而且图像化一键部署 对小型的集群来讲成本运维成本低
  • 云厂商的大数据平台(如dataworks 、 EMR )等 免去了运维和选型成本 直接花钱买就完事 ,但价格也不便宜 有资金预算且没有技术大数据团队的的公司可以考虑
  • Apache 开源本 对各个组件的深度要求较高、搭建时各种配置文件多 需要考虑组件间的兼容问题

使用Apache 开源版本搭建大数据集群的几点考虑

  • CDH 6.3版本之后就开始收费了 对于6.3之前的版本如果要升级比较困难 如果升级的话本人不太考虑继续使用CDH 毕竟人家的东西一旦停止免费 犹如釜底抽薪,对稳定业务来讲承受不了这种
  • 国内云厂商的大数据平台 不得不说做的比较好,各种图形化操作页面 、便于配置 、便于新手上手 而且还有对应的钉钉售后群(类似于工单) ,好归好 唯一的缺点就是就是收费高 对中小公司 一般很难有这方面的预算

笔者所待过公司使用的大数据发行版

  • CDH(6.3)版本 居多
  • 阿里云厂商的大数据平台(dataworks)也有用
  • Apache 版本很少

Apache版本组件选型

在这里插入图片描述

  • Apache 版本适合大厂 和自我学习使用
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值