hadoop 3.x 的新特性

最新推荐文章于 2023-02-03 09:31:17 发布
最新推荐文章于 2023-02-03 09:31:17 发布
阅读量609 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： hadoop3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lijingshan34/article/details/86407311
本文探讨Hadoop在基于JDK1.8环境下的性能优化策略，包括内存计算提升、HDFS数据获取加速、多NameNode支持、EC纠删码技术应用、内核精简及API配置改进等关键内容。
  1. 基于jdk1.8（最低版本要求）
  2. mr采用基于内存的计算，提升性能（快spark 10倍）
  3. hdfs 通过最近black块计算，加快数据获取速度(块大小：256M)
  4. 支持多NameNode(实现了更加可靠的HA)
  5. 引入EC纠删码技术(EC:Erasure Coding) 存储空间节省50%
  6. 精简了内核7．hadoop shell脚本重构
  7. 默认端口修改9.支持数据的balancer（平衡）Intra-datanode均衡器
  8. 基于API来配置 Capacity Scheduler 队列的配置
Hadoop系列之Hadoop3.x 新特性(7)
01-21 6万+
Hadoop 3.x 新特性 相对于之前主要生产发布版本 Hadoop 2，Apache Hadoop 3 整合许多重要的增强功能。 Hadoop 3 是一个可用版本，提供了稳定性和高质量的 API，可以用于实际的产品开发。最低 Java 版本要求从 Java7 变为 Java8，所有 Hadoop 的 jar 都是基于 Java 8 运行是版本进行编译执行的，仍在使用Java 7或更低Java版本的用户需要升级到Java 8。 下面简要介绍一下Hadoop3的主要变化。 HDFS 支持纠删码（erasur
详解Hadoop3.x新特性功能-HDFS纠删码
微信搜：import_bigdata，大数据领域硬核原创作者
10-20 1151
EC介绍 ​Erasure Coding 简称EC，中文名：纠删码 EC（纠删码）是一种编码技术，在HDFS之前，这种编码技术在廉价磁盘冗余阵列（RAID）中应用最广泛(RAID介绍：大数据预备知识-存储磁盘、磁盘冗余阵列RAID介绍)，RAID通过条带化技术实现EC，条带化技术就是一种自动将 I/O 的负载均衡到多个物理磁盘上的技术，原理就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘上去，这就能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突（当多个进程同时访问一个磁盘时，可能会
大数据学习_Hadoop_Hadoop 3.x 新特性概述
qq_41612830的博客
02-01 476
目录1 Hadoop3.x新特性之Common改进2 Hadoop3.x新特性之YARN改进3 Hadoop3.x新特性之MapReduce改进 Hadoop3.x中增强了很多特性，在Hadoop3.x中，不再允许使用jdk1.7，要求jdk1.8以上版本。这是因为Hadoop2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正Hadoop3.x。 Hadoop3.x以后将会调整方案架构，将Map
hadoop 3.0新特性简单介绍
一亩三分地
07-27 9870
过去十年，Apache Hadoop从无到有，从理论概念演变到如今支撑起若干的生产集群。接下来的十年，Hadoop将继续壮大，并发展支撑新一轮的更大规模、高效和稳定的集群。 本文将向大家全面介绍即将到来的Apache Hadoop 3.0新版本——从版本发布状态、背后的故事，到如HDFS erasure coding、YARN federation、NN k-safety等全新的...
Hadoop 3的新特性
wilder2000的专栏
03-26 519
相对于之前主要生产发布版本Hadoop 2，Apache Hadoop 3整合许多重要的增强功能。 Hadoop 3是一个可用版本，提供了稳定性和高质量的API，可以用于实际的产品开发。下面简要介绍一下Hadoop3的主要变化。 最低Java版本要求从Java7变为Java8 所有Hadoop的jar都是基于Java 8运行是版本进行编译执行的，仍在使用Java 7或更低Java版...
Hadoop3.0新特性介绍，比Spark快10倍的Hadoop3.0新特性
weixin_34384915的博客
10-16 1908
Hadoop3.0新特性介绍，比Spark快10倍的Hadoop3.0新特性 Apache hadoop 项目组最新消息，hadoop3.x以后将会调整方案架构，将Mapreduce 基于内存+io+磁盘，共同处理数据。其实最大改变的是hdfs,hdfs 通过最近black块计算，根据最近计算原则，本地black块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果。 1. ...
Hadoop 3.x 新特性概述
凉茶铺的博客
10-11 905
介绍了hadoop3.x的一些新特性
hadoop2.X新特性介绍
04-19
### Hadoop2.X 新特性详解 #### Hadoop1.0 的局限性 Hadoop1.0作为初代的大数据处理框架，在数据存储和处理方面取得了显著成就，但也暴露出了一系列问题，主要包括： - **HDFS（Hadoop Distributed File System）...
详解hadoop1.x和hadoop2.x的区别及补充hadoop3.x新特性
曹利荣的博客
12-24 4210
hadoop1.x和hadoop2.x的主要区别在于： 1、hadoop1.x没有提供架构中主节点namenode及jobtrack的高可用及负载均机制。而在hadoop2.x中有。 2、第二个区别就体现在mapreduce的架构设计上，hadoop1.x中mapreduce兼具计算和资源调度两个作用， 而在hadoop2.x中则将mapreduce中的资源调度功能...
Hadoop3.x有哪些新特性？
热门推荐
Shockang的博客
05-25 1万+
写在前面 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系 解答 1. 最低Java版本要求从Java7变为Java8 2. HDFS支持纠删码（erasure coding） 3. YARN时间线服务 v2(YARN Timeline Service v2) 4. YARN资源类型一般化 5. 重写Shell脚本 6. 覆盖客户端的jar（Shaded clien
Hadoop3.x新特性
gggSam的博客
07-28 537
【建议收藏】谈Hadoop 3.x 新特性 Hadoop3.x中增强了很多特性，在Hadoop3.x中，不再允许使⽤jdk1.7，要求必须是jdk1.8以上版本。这是因为Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，即Hadoop3.x。Hadoop3.x以后将会调整方案架构，将MapReduce基于内存+io+磁盘共同处理数据。 Hadoop 3.x中引入了一些重要的功能和优化，包括
Hadoop3.0的新特性
python的博客
08-03 3249
1. Hadoop3.0简介 Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。 Hadoop 3.0的alpha版预计今年夏天发布，GA版本11月或12月发布。 Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS
【大数据Hadoop】Hadoop 3.x 新特性总览
如切如磋，如琢如磨，臻于至善。
02-03 2958
从功能上来说，Hadoop3比Hadoop2有些功能得到了增强，具体增加了哪些，后面再讲。JDK：在Hadoop2时，可以使用JDK7，但是在Hadoop3中，最低版本要求是JDK8，所以低于JDK8的版本需要对JDK进行升级，方可安装使用Hadoop3EC技术：Erasure Encoding 简称EC，是Hadoop3给HDFS拓展的一种新特性，用来解决存储空间文件。EC技术既可以防止数据丢失，又能解决HDFS存储空间翻倍的问题。
Hadoop 3.x 新特性剖析系列1
weixin_34185364的博客
04-14 249
1.概述 　　目前从Hadoop官网的Wiki来看，稳定版本已经发行到Hadoop2.9.0，最新版本为Hadoop3.1.0，查阅JIRA，社区已经着手迭代Hadoop3.2.0。那么，今天笔者就带着大家来剖析一下Hadoop3，看看它给我们带来了哪些新特性。 2. 内容 　　从功能上来说，Hadoop3比Hadoop2有些功能得到了增强，具体增加了哪些，后面再讲。首先，我们来看看Hado...
Hadoop3.x新特性汇总
gaofeng的博客
08-31 2264
Hadoop 3的新增功能? 以下是Hadoop3中进行的10项更改，这些更改使其独特且快速。看看Hadoop 3.x的新增功能： 1、Hadoop3.0支持的最低Java版本是JDK 8.0 他们已经使用Java 8运行时版本编译了所有Hadoop jar文件。用户现在必须安装Java8才能使用Hadoop3.0。具有JDK7的用户必须将其升级到JDK8。 2、HDFS支持擦除编码 Hadoop3.x使用擦除编码来提供容错能力。Hadoop2.x使用复制技术来提供相同级别的容错能力。让我们探讨两者之间的区
【快速入门大数据】Hadoop3.x新特性
瑞新の博客：bennyrhys
01-23 2794
3.x必须在java8环境为前提 Common改进 shell被重写 过时api方法可能被删除 向下兼容老版本命令 hdfs改进（ec代替副本机制 50%提升空间利用率） 删除编码方式 支持两个以上的namenode（高可用 可用+备用） datanode平衡 单个datanode管理多个磁盘目录。 添加或替换磁盘导致datanode数据倾斜。 现有hdfsbalanse没办法解决倾斜 ，使用新的diskbalance去cli解决 对应临时端口冲突，改进 yarn改进 timeline历史
Hadoop3新特性
weixin_33739646的博客
04-05 243
1.添加Classpath isolation，防止不同版本的jar包出现冲突。 2.支持Shell重写。 3.支持HDFS中的擦除编码【Erasure Encoding】，默认的EC策略可以节省50%的存储空间，同时还可以承受更多的存储故障。 4.DataNode内部添加了负载均衡【Disk Balancer】，进行磁盘之间的负载均衡。 5.MapReduce任务级本地优化。 6.Ma...
Hadoop2.x全新特性全面解析
本合集包括了Hadoop权威指南第四版的英文原版、中文翻译版以及相关的代码资料，内容主要围绕Hadoop 2.x版本，并包含了部分稳定版本的新特性。 Hadoop 2.x版本相较于早期版本，有了较大的更新，其中最为显著的改变之...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值