如何选择不同的Hadoop发行版

首先要了解什么是Hadoop发行版(Hadoop distribution),简单来说它就是基于开源的Apache Hadoop进行改造的商业解决方案,其中包括一系列定制的管理工具和软件。而事实上,Apache Hadoop本身也存在着一些版本差异,包括:

  ·Hortonworks主要专注于Hadoop 1(不包括YARN、HCatalog等),也是因为其技术比较成熟且能够投入生产环境。

  ·Cloudera发行版包括Hadoop 1和Hadoop 2两种选择,但Cloudera不建议将Hadoop 2投入生产环境。

  ·一些新晋的发行版提供商倾向于使用Hadoop 2。

  不同的提供商还会选择在其发行版当中添加不同的Apache Hadoop子项目,如Hive、Zookeeper等。另外还会添加一些专有代码作为补充甚至替换原始的Apache Hadoop代码,这些代码主要用来提升Hadoop分布式文件系统(HDFS)的性能,还有一些是新的管理工具。发行版提供商的管理套件是其主要的增值项目,其中最明显的就是Cloudera。而Hortonworks则选择将开源的Ambari添加到管理工具当中。

  用户选择Hadoop发行版的另外一个原因是厂商会提供相关的技术支持,因为企业内部对于Hadoop的部署和使用经验不足。Cloudera和Hortonworks的技术支持是业界最佳的,同时一些大型厂商如Oracle等也会提供一些级别的技术支持,比如在Oracle大数据一体机上面提供Tier 1技术支持。

  以下的几个提供商当中,我会列出其各自的优势,用户可以根据自己的需求选择不同的Hadoop供应商:

  Cloudera

  ·Cloudera的Hadoop管理工具非常成熟

  ·Cloudera还提供了应用导航的功能

  ·Cloudera在Hadoop领域是非常有经验的

  ·Cloudera对于Hadoop的发展起着重要作用

  ·Cloudera拥有广泛的合作伙伴支持

  ·Cloudera专攻Hadoop,同时资金充沛

  Hortonworks

  ·Hortonworks拥有大量的Hadoop专家,同时对Hadoop的发展也起到了重要作用

  ·Hortonworks也拥有广泛的合作伙伴支持

  ·Hortonworks与Cloudera很相似,也专攻Hadoop

  ·Hortonworks对专有代码的依赖低于Cloudera,因此用户不必担心“厂商锁定”问题。

  Intel

  ·Intel的Hadoop性能很好

  ·Intel的Hadoop发行版最先进入中国市场(在中国市场的一大重要优势)

  EMC/Pivotal/Greenplum

  ·使用Greenplum数据库的用户别犹豫了,就选择新的Pivotal HD吧

  MapR

  ·某种程度上说MapR的Hadoop发行版在性能方面具备优势

  IBM

  ·信任IBM的服务就选择它的Hadoop发行版

Comsol超声空化气泡仿真:从基础理论到工业应用实践 本文详细介绍了Comsol超声空化气泡仿真的基础理论及工业应用实践。通过解析超声空化现象、Comsol模型搭建流程及求解器优化技巧,帮助工程师掌握气泡仿真技术,提升超声波清洗和乳液制备等工业应用的效率与质量。 阅读详情

相关推荐

实测昇腾310P跑Qwen3有多慢?手把手带你部署vLLM并记录性能数据

本文实测了昇腾310P在vLLM框架下部署Qwen3模型的性能表现,详细记录了2.5 tokens/s的生成速度及其技术瓶颈。通过环境搭建、基准测试和深度分析,揭示了计算资源利用率不足等关键问题,并提供了实用的优化技巧与监控方案,帮助开发者更好地理解和优化昇腾平台上的大模型部署。

weixin_28724319的博客 891

Hadoop各商业发行版之比较

 Hadoop的发行版除了社区的Apache hadoop外,cloudera,hortonworks,mapR,EMC,IBM,INTEL,华为等等都提供了自己的商业版本。商业版主要是提供了专业的技术支持,这对一些大型企业尤其重要。每个发行版都有自己的一些特点,本文就各发行版做简单介绍。   2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司,为合作伙伴提供 H...

aizongmao2539的博客 947

数据挖掘在人力资源分析中的实战案例

在当今竞争激烈的商业环境中,人力资源管理对于企业的成功至关重要。有效的人力资源管理能够提高员工绩效、降低员工流失率、优化人才招聘等。而数据挖掘技术为人力资源管理提供了强大的工具,通过对大量人力资源数据的分析,可以发现潜在的规律和模式,为企业的决策提供有力支持。本文的目的是通过实际案例展示数据挖掘在人力资源分析中的具体应用,涵盖员工绩效预测、人才招聘筛选、员工流失分析等多个方面。通过详细的案例分析,帮助读者理解数据挖掘技术在人力资源管理中的实际操作和应用价值。

移动开发前沿的博客 489

Hadoop集群中的Mahout-distribution-0.7安装与配置

Hadoop集群中的Mahout-distribution-0.7安装与配置 系统配置: ubuntu 12.04 hadoop-1.1.2 jdk1.6.0_45 Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop,Mahout只在Hadoop集群的NameNode节点上安装一个即可,其他数据节点上不需要安装。 1、下载二进制解压安装。 到ht...

海兰 278

SAP FAGLFLEXT 是 SAP 新总账的核心余额表,存储多维度的汇总余额数据。核心结论:该表按 “科目 + 会计年度 + 期间 + 维度” 存储累计余额,字段可分为基础标识

FAGLFLEXT是SAP新总账的核心余额表,采用"科目+年度+期间+维度"结构存储多维汇总数据。其字段分为基础标识(科目、年度等)、维度细分(公司代码、利润中心等15个维度)、金额数值(本外币余额)、辅助控制(状态标识)四大类,支持新总账的灵活核算。该表通过凭证自动更新,与旧总账GLT0相比显著扩展了维度核算能力,各维度需在科目主数据或Ledger配置中启用才能使用。

金牌架构师 454

YOLOv11改进 | 特殊场景检测篇 | 低照度图像增强网络SCINet改进黑暗目标检测(全网独家首发)

本文给大家带来的改进机制是低照度图像增强网络SCINet,SCINet(自校正照明网络)是一种专为低光照图像增强设计的框架。它通过级联照明学习过程和权重共享机制来处理图像,优化了照明部分以提升图像质量。我将该网络集成在YOLOv11的主干上针对于图像的输入进行增强,同时该网络的并不会增加参数和计算量,基本和普通的网络结构保持一致,同时该结构支持自定义调节层数,来控制图像增强的效果 ,非常适合想要在黑夜目标检测领域发表文章的读者,该基本网络不会影响模型的速度。欢迎大家订阅我的专栏一起学习YOLO!

Snu77的博客 2206

How to install Hadoop distribution from Bigtop 1.2.0

转自 Environment CentOS 6 machines running on VM/Docker/Bare Metals, etc. If using docker, don’t run this on the docker host but on a CentOS 6 container Deploy Copy and paste the following text ...

cnhome的专栏 443

SAP_SD模块更改销售订单定价简介

方式优点缺点适用场景MASS简单,无需开发不能触发重新定价逻辑修改特定字段BDC (VA02)可模拟人工操作维护复杂,速度慢少量订单批改稳定、安全需ABAP支持推荐用于批量重新定价VBOF标准重算返利仅适返利类条件返利更新通过本文,我们了解了 SAP 的[SAP_SD模块更改销售订单定价]的基本概念和应用方法。希望这些信息能帮助您在实际工作中更好地使用 SAP 系统,提高工作效率和管理水平。更多SAP文章请点击更多SAP文章更新,大家一起学习进步!!!

我小时候很黑的博客 706

Hadoop系列 : HDFS(Hadoop Distributed File System)基本功能及原理

HDFS(Hadoop Distributed File System)基本功能及原理 一 、HDFS的基本概念 HDFS有三个基本概念 , 数据块(Block) , 管理节点(NameNode) , 数据节点(DataNode) 数据块(Block) HDFS默认的基本存储单元是64M的数据块 元数据节点(NameNode) 又名管理节点 , 它存储了文件与数据块的映射 , 以及数据块和...

qq_40651717的博客 494

79、昇腾系列服务器/昇腾系列推理卡/昇腾系列嵌入式开发板+Dify+one api部署DeepSeek-R1-Distill-Qwen-32BW8A8+RAG本地模型知识库和负载均衡双实例

阶段,安装过程缺什么,,在docker外面git下源码,进入容器内部进行量化,这里的容器建议在创建个8卡的容器,双卡容器量化会显示npu显存不够,除非你用cpu转模型,我就懒得创建容器了,使用cpu量化吧,巨慢;创建容器,进入容器,计划使用两张昇腾NPU卡推理DeepSeek-R1-Distill-Qwen-32B的W8A8模型,所以构建的容器用两张卡,选6、7卡吧,0-6号卡可以跑文本嵌入模型、重排序模型;直接进入量化阶段,在容器外面操作即可,环境不用管,因为系统已经默认配置了环境,直接跳到。

sxj731533730 6116

Python内置函数zip()——《Python内置函数手册》Python老吕编著

zip()函数是 Python 中的一个内置函数,用于将多个可迭代对象(如列表、元组、字符串等)中对应的元素打包成一个个元组,然后返回由这些元组组成的迭代器。zip()函数常用于将多个序列并行迭代,或者用于数据对齐。zip()它返回一个迭代器,这意味着你可以逐个获取打包后的元素,而不是一次性将所有元素加载到内存中。如果输入的可迭代对象长度不一致,zip()会以最短的可迭代对象为准,只打包到最短对象的末尾。它可以用来并行迭代多个序列,使得代码更加简洁和高效。在接下来的章节中,我们将详细介绍。

Python老吕的博客 680

hadoop发行版本比较

今年,大数据在很多公司都成为相关话题。虽然没有一个标准的定义来解释何为 “大数据”,但在处理大数据上,Hadoop已经成为事实上的标准。IBM、Oracle、SAP、甚至Microsoft等几乎所有的大型软件提供商都采用了Hadoop。然而,当你已经决定要使用Hadoop来处理大数据时,首先碰到的问题就是如何开始以及选择哪一种产品。你有多种选择来安装Hadoop的一个版本并实现大数据处理。本文讨论

maoxiao_jsd的专栏 1306

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Hadoop版本选择

一、版本介绍:    目前Hadoop的发行版除了Apache的开源版本之外,还有华为发行版、Intel发行版、Cloudera发行版(CDH)、Hortonworks发行版(HDP)、MapR等,所有这些发行版均是基于Apache Hadoop衍生出来的,因为Apache Hadoop的开源协议允许任何人对其进行修改并作为开源或者商业产品发布。 国内大多数公司发行版是收费的,比如Intel发...

iDark 的博客空间 1423

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Hadoop版本演进及选择建议

版本系列状态核心特点建议Hadoop 1.x完全淘汰仅有MapReduce(MRv1),无YARN仅用于历史学习,不应在任何新环境使用。Hadoop 2.x维护模式引入YARN,成为通用平台,稳定大量旧生产环境仍在运行,处于维护状态,不再增加新特性。建议现有用户规划升级。Hadoop 3.x主流活跃纠删码、多NN、性能增强、容器化支持新集群部署的首选。拥有更多特性、更好的性能和更高的效率。

ITHomeZSL的博客 1420

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

大数据运维实战第二课 大话 Hadoop 发行版选型和伪分布式平台的构建

到目前为止,你应该初步了解了大数据以及 Hadoop 相关的概念了。本课时我将介绍 Hadoop 如何快速使用,由于 Hadoop 平台的构建过程相当复杂,它涉及系统、网络、存储、配置与调优,但为了能让你尽快尝鲜体验一下 Hadoop 的功能和特性,我们先一起构建一个伪分布式 Hadoop 集群,也就是一个假的 Hadoop 集群,麻雀虽小,但五脏俱全。伪分布式 Hadoop 集群能够实现 Hadoop 的所有功能,并且部署简单,因此非常适合新手进行学习、开发、测试等工作。......

fegus的博客 520

顶级Hadoop发行版的四个对比因素

通过检查顶级的Hadoop发行版的关键特征,你可以决定哪些订阅适合你的组织。 虽然软件组件构成的Hadoop生态系统堆栈是开源技术,但是采用付费订阅使用其供应商的商业Hadoop平台会为企业带来许多好处。例如,订阅可以提供技术支持和培训,以及访问那些不提供给开源社区的企业功能。而供应商的Hadoop的企业版提供了Hadoop生态系统协议堆栈的核心部件,主要区别是这些厂商提供超越公开访问的功能。 ...

大数据培训中心 454

Hadoop企业级搭建之-版本选择

太多选择——如何挑选合适的大数据或Hadoop平台? 作者 Kai Wähner ,译者 王灵军 发布于 2013年10月9日 | 注意: ArchSummit全球架构师峰会(北京)2015年12月18-19日,了解更多详情!5 讨论 分享到:微博微信FacebookTwitter有道云笔记邮件分享 稍后阅读 我的阅读清单   今年,大数据在很多公司...

reb12345reb的博客 335

大数据技术原理与应用Hadoop篇-初始hadoop

大数据学习Hadoop版本产品版本介绍

m0_51679196的博客 825

hadoop商业版本选择对比

记得刚接触到hadoop的时候跟大部分人一样都会抱怨hadoop的安装部署问题,对于一个新手来说这这的是个头疼的问题,可能需要花费一整天的时间才能把分布式环境安装配置好。在刚接触hadoop的一段时间里,可以说对于hadoop的理解一直都是停留在相对较肤浅的层面。后来随着自己的不断摸索以及向圈内的前辈大神请教交流(主要是向大神请教学来的),自己对于hadoop的认识以及应用也...

weixin_33670786的博客 212

Hadoop套装软件包

如果你在使用Hadoop的同时,还想使用HBase,Hive等,一个个的安装实在是费时费力。一个打包的套装就解决了这个问题。下面介绍几个市面上最重量级公司的产品。 建议下载虚拟机版本进行测试或者评估。 Cloudera’s Distribution Including Apache Hadoop (CDH) CDH3 Update 3 Packaging To view t

autofei的专栏 4649

如何挑选合适的大数据或Hadoop平台?

今年,大数据在很多公司都成为相关话题。虽然没有一个标准的定义来解释何为 “大数据”,但在处理大数据上,Hadoop已经成为事实上的标准。IBM、Oracle、SAP、甚至Microsoft等几乎所有的大型软件提供商都 采用了Hadoop。然而,当你已经决定要使用Hadoop来处理大数据时,首...

chuangdainiu3894的博客 195

Apache Hadoop与第三方Hadoop-CDH,HDP,MapR的分析与比较

一、Hadoop版本综述 目前Hadoop发行版非常多,有华为发行版、Intel发行版、Cloudera发行版(CDH)等,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的版本,完全是由Apache Hadoop的开源协议决定的:任何人可以对其进行修改,并作为开源或商业产品发布/销售。(http://www.apache.org/licenses/LICE

Michael Wing's workspace 4529

《Hadoop集群与安全》一第1章 构建Hadoop集群

本节书摘来自华章出版社《Hadoop集群与安全》一书中的第1章,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区“华章计算机”公众号查看 第1章 构建Hadoop集群 Hadoop是一款免费开源的分布式存储和计算平台。在构建该平台后,用户可以使用商用硬件中的集群来存储和处理大量数据。在过去的数...

weixin_33778778的博客 120

Hadoop基础教程-第2章 Hadoop快速入门(2.1 Hadoop简介)

第2章 Hadoop快速入门 2.1 Hadoop简介 2.1.1 Hadoop编年史 (1)2002年10月,Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch。 (2)2003 年 Google 发表了一篇技术学术论文关于 Google 文件系统(GFS)。GFS 也就是 Google File System,是 Google 公司为了存储海量搜索数据而设计...

simply 232
上一篇: Hadoop各商业发行版之比较
下一篇: SecureCRT连接Linux显示Mysql记录中文乱码
java_doom
博客等级 码龄20年 6粉丝 199原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值