hadoop版本总结

hadoop有两个分支:0.20.x 和0.23.x。其中0.20.x是比较稳定的版本,0.23.x中新特性更多,但相对不稳定。

 

其中从0.20.x 分支发展出来的是:hadoop1.0,CDH3

从0.23.x 分支发展出来的是:hadoop-alpha,CDH4

 

下面具体说hadoop1.0、2.0 和CDH3、CDH4:

 

Apache Hadoop  2012年10月02日发布了 2.0 的第二个 Alpha 版本,版本号 2.0.2。该版本在 2000 个节点的集群上进行测试,目前开发团队的主要工作是处理无共享存储下的 HDFS HA ,还包括 YARN ResourceManager 以及调度方面的改进(YARN 是下一代的 MapReduce 实现)。

 

2011年12月27日顶级Apache开源项目Hadoop发布了1.0.0版。Hadoop是前雅虎开发者Doug Cutting开发的分布式计算平台,名字源于玩具象,至今已被数千家公司用于分析大容量数据。Hadoop 1.0.0主要是修正了bug,改进了性能和兼容性。它的上一个版本是0.20.205.0,新版的版本号原是 0.20.205.1,但开发者表示,Hadoop已经成熟几年前就做好了应用于生产的准备,但有些客户在采用前希望看到版本号是1.0,所以他们决定直接跳到了1.0。

 

cloudera CDH3基于hadoop稳定版0.20.2,并集成很多补丁(patch)

 

CDH4是基于Hadoop0.23的,但是它采用新的MapReduce,即MapReduce2.0,又叫Yarn。

CDH4的安装要求:64位的Red Hat Enterprise Linux5.7,CentOS5.7,Oracle Linux5.6,32位或64位的Red Hat Enterprise Linux6.2和CentOS6.2等

 

 

以上信息均总结于网上,有错误之处,请留言指正。

卷积神经网络中的自注意力机制(Self-Attention Mechanism) 卷积神经网络中的机制表现为操作,其实现过程与Seq2Seq模型的自注意力机制类似。标准的卷积层是一种局部滤波操作,其输出特征上的任意位置是由对应输入特征的一个邻域构造的,只能捕捉局部特征之间的关系。而自注意力机制通过计算任意两个位置之间的关系直接捕捉远程依赖,而不用局限于相邻点,相当于构造了一个的卷积核,从而可以捕捉更多信息。在卷积网络的自注意力机制中,首先构造输入特征x的键特征fx, 查询特征gx和值特征hx; 阅读详情

相关推荐

Zemax非序列模式新手入门:从零搭建一个抛物面反射镜系统(含灯丝光源与探测器设置)

本文详细介绍了如何在Zemax非序列模式下从零搭建抛物面反射镜系统,包括灯丝光源配置、反射镜建模和探测器设置等关键步骤。通过实战指南,帮助光学设计新手快速掌握非序列模式的应用技巧,特别适合处理复杂光线传播场景如反射镜系统和杂散光分析。

weixin_28717431的博客 436

CDH各个版本下载&&组件版本

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_cdh_vd.html

xiaozhaoshigedasb的博客 1万+

BAPI_OUTB_DELIVERY_CHANGE扩展指南:利用EXTENSION2与SMOD_V50B0001实现自定义字段更新

本文详细解析了如何利用BAPI_OUTB_DELIVERY_CHANGE的EXTENSION2参数与增强点SMOD_V50B0001,在不修改标准代码的前提下,安全、标准地更新SAP交货单的自定义字段。通过清晰的步骤指南和实战代码示例,帮助开发者掌握通过增强字段实现定制化业务需求的完整流程与调试技巧。

fanta的博客 450

Hadoop总结

大数据的4V大量化、快速化、多样化、价值密度低。大数据对思维方式的影响颠覆了传统的思维方式——全样而非抽样、效率而非精确、相关而非因果大数据对科学研究的影响实验、理论、计算、数据三次信息化浪潮第一次——1980——个人计算机为标志——解决信息处理——Intel、AMD、IBM第二次——1995——互联网——信息传输——雅虎、谷歌第三次——2010——物联网、云计算和大数据——信息爆炸——亚马逊、美团信息科技为大数据提供的技术存储设备容量增加、成本降低CPU性能提升数据变革阶段注。...

m0_67401382的博客 4139

CANoe诊断测试避坑指南:DTC故障注入与ECU刷写失败的N个常见原因排查

本文深入解析CANoe诊断测试中的常见问题,重点探讨DTC故障注入与ECU刷写失败的排查策略。从会话管理、安全访问到数据完整性校验,提供实战经验与CAPL脚本示例,帮助工程师规避诊断测试中的典型陷阱,提升车载网络通信与ECU刷写的可靠性。

weixin_29278805的博客 461

海康线扫相机平场矫正教程

1、白纸准备确保视野中有一张平整且无折痕的白纸,使其完全铺满相机的整个视野。2、行高设置将行高参数设定为 2048。3、灰度值控制相机端图像的灰度值应维持在 120 - 160 这个区间内。同时,最亮像素点与最暗像素点的灰度值差值不得超过 4 倍。在调整灰度值时,尽量开启增益功能。4、 图像模糊处理为减少白纸对平场矫正的影响,需将相机端获取的图像进行模糊化处理。具体操作是对镜头进行虚焦,使整体图像变得模糊。

T 2743

hadoop系列-hadoop版本选择

引言 Hadoop自从出现到现在被广泛应用,经理了很多个版本的衍化,甚至各个公司都在原生apache hadoop的基础上进行了一些改造以及特性优化,有些是完善了一整套的集群部署工具,在这衍化的过程中出现了Apache hadoop官方版本,还有很多第三方版本,例如Cloudera,Hortonworks,IBM,华为等提供的版本。那么这么多的版本,我们在进行学习开发或者生产环境部署的时候应该如何...

5942

基于libVLC的视频播放器之四:直接使用libVLC

一.效果 播放本地文件 播放网络url:rtsp://3.84.6.190/vod/mp4:BigBuckBunny_115k.mov 二.实现 既然有VLC-Qt,为什么还要直接调用libVLC呢,因为直接调用会加深对整个播放流程的理解,方便后面修改VLC-Qt源码。 注意事项: 1.编译报错:error C2065: “libvlc_media_read_cb”: 未声明的标识符。修改如下: 2.libvlc_new(0, nullptr)返回null 将plugins

草上爬的博客 5048

CDH详解(史上最全)

CDH详解,从小白到精通

weixin_45424111的博客 1万+

FreeRTOS全攻略:从入门到精通

本文聚焦 FreeRTOS,从基础概念出发,阐述其开源、轻量级等优势。着重介绍 FreeRTOS 入门知识,涵盖内存管理、任务操作、同步互斥机制等核心内容。其中,空闲任务与钩子函数保障系统基础运行与功能扩展;队列、信号量、互斥锁和事件组等机制,分别从数据传递、资源访问控制、优先级问题解决及多任务同步等方面,为开发者提供高效的任务间协作与资源管理方案,助力开发者掌握 FreeRTOS 核心技术,为嵌入式项目开发筑牢基础。

邓邓子的博客 6354

OpenHarmony WebView引擎:从Chromium魔改到分布式渲染的终极解析

ArkWeb框架提供了强大的Web应用开发能力,但同时也需要注意网络安全问题,尤其是跨域请求方面。

m0_67505153的博客 1194

Apache Hadoop 版本

由于Hadoop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了Apache Hadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。 1. Apache Hadoop 1.1  Apache版本衍化 截至目前(2012年12月23日),Apache Hadoop版本分为两代,我们将第一代Hadoop称为Hado...

IPJMC的专栏 650

小梅哥Xilinx FPGA学习笔记11——亚稳态

亚稳态就是D触发器输入信号在其数据窗口期内发生变化,导致D触发器的输出进入一段时间的不稳定状态,有可能发生振荡,并最终随机稳定在高电平或者低电平。

m0_51430584的博客 631

Hadoop不同版本的区别

Hadoop不同版本的区别

QQ903275718的博客 2094

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Apache Hadoop版本详解分享

本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。感兴趣的朋友一起看看吧 由于Hadoop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。 1.Apache HadoopApache版...

weixin_44400506的博客 3446

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

hadoop 对应hive版本

如何实现 Hadoop 对应 Hive 版本的查询 在大数据领域,Hadoop 和 Hive 是两个非常重要的组成部分。Hadoop 是一个分布式存储和处理框架,而 Hive 则是建立在 Hadoop 之上的数据仓库工具,它为数据分析提供了一种类 SQL 的查询语言。然而,对于刚入行的小白来说,可能会对 Hadoop 和 ...

weixin_42347346的博客 1537

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Hadoop版本

Apache Hadoop版本分为两代: 第一代 Hadoop称为 Hadoop 1.0 第二代 Hadoop称为Hadoop 2.0 第一代Hadoop包含三个大版本,分别是0.20.x , 0.21.x和0.22.x ,其中, 0.20.x最后演化成1.0.x,变成了稳定版,而0.21.x和0.22.x则增加了NameNode HA等新的重大特性。 第二代 Hadoop包含两个版本,分别是0.23.x和2.x ,它们完全不同于 Hadoop 1.0 ,是一套全新的架构,均包含HDFS Federatio

CX 5605

Hadoop的版本介绍

0.20.x版本最后演化成了现在的1.0.x版本0.23.x版本最后演化成了现在的2.x版本hadoop 1.0 指的是1.x(0.20.x),0.21,0.22hadoop 2.0 指的是2.x,0.23.xCDH3,CDH4分别对应了hadoop1.0 hadoop2.0如何选择Hadoop版本当前Hadoop版本比较混乱,让很多用户不知所措。...

m0_67392126的博客 1324

关于hadoop的java版本

在部署hadoop时对Java版本有一定的要求: hadoop 2.7以后的版本(含2.7)要求Java版本为Java 7,hadoop 2.6以前的版本(含2.6)要求Java版本为Java6。 具体可以参考:HadoopJavaVersions - Hadoop Wiki  https://wiki.apache.org/hadoop/HadoopJavaVersions

mdcDdn1_e的专栏 2347

hadoop版本选择

hadoop版本选择

克终的博客 1663

Hadoop版本演进及选择建议

版本系列状态核心特点建议Hadoop 1.x完全淘汰仅有MapReduce(MRv1),无YARN仅用于历史学习,不应在任何新环境使用。Hadoop 2.x维护模式引入YARN,成为通用平台,稳定大量旧生产环境仍在运行,处于维护状态,不再增加新特性。建议现有用户规划升级。Hadoop 3.x主流活跃纠删码、多NN、性能增强、容器化支持新集群部署的首选。拥有更多特性、更好的性能和更高的效率。

ITHomeZSL的博客 1420

Hadoop 版本问题

最近一直再看《hadoop in action》这本书,这本书整体讲的不错,就是hadoop不同版本之间的区别比较大,大家学习时一定要用统一版本,否则事倍功半。 书上第4章第四节讲的是版本间的区别,我这里简单整理一下: 去hadoop的官网可以找到如下信息: 1.0.X - current stable version, 1.0 release1.1.X - current beta

Keep writing codes 3606

hadoop版本比较

由于Hadoop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了Apache Hadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。 1. Apache Hadoop 1.1  Apache版本衍化 截至目前(2012年12月23日),Apache Hadoop版本分为两代,我们将第一代Hado

专注于互联网架构技术,努力成为一名架构师 4553

hdp对应hadoop的版本_Hadoop版本选择

刚开始学习Hadoop时就曾经一直抱怨Hadoop的安装部署为什么这么麻烦,对于一个新手需要捯饬一天才能把分布式环境安装配置好。而对于一个自学Hadoop而周围又没人交流的菜鸟来说,我对Hadoop的理解一直停留在很肤浅的层面,能应用,但对内部的原理知之甚少。最近和一个做这方面的朋友聊天,他问我你学习Hadoop是用的什么版本搭建环境,我说Hadoop版本那么多我也记不太清了,他只是笑笑就没再多问...

weixin_42185419的博客 1302

hdfs 版本号_如何查看hadoop版本

展开全部通过在集群上执行:32313133353236313431303231363533e58685e5aeb931333433626463hadoop version 命令可以查看对应的hadoop的版本。查看hadoop集群的位数:执行:cd $HADOOP_HOME/lib/nativefile libhadoop.so.1.0.0Hadoop属于一个能够对大量数据进行分布式处理的软件...

weixin_39638304的博客 3649

Hadoop版本选择探讨

原文地址:http://dongxicheng.org/mapreduce-nextgen/how-to-select-hadoop-versions/ http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-terms-explained/ 由于Hadoop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。本文总

RukeyLee's Tech Blog 7813
上一篇: myeclipse安装svn插件的多种方式
下一篇: 报错Retrying connect to server
java_doom
博客等级 码龄20年 6粉丝 199原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值