大数据之Hadoop3.0 新特性

Hadoop 3.0：大数据的新里程碑
最新推荐文章于 2023-10-25 21:27:03 发布
最新推荐文章于 2023-10-25 21:27:03 发布
阅读量286 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据 VIP 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wzygis/article/details/114583504
Hadoop 3.0版本引入了众多新特性，如Java版本升级到8，支持HDFS的擦除编码以节省存储，YARN时间轴服务v.2提升可扩展性，支持随机container和分布式计划，MapReduce任务级本机优化，以及对多NameNode和多种云存储的兼容。此外，还有守护进程和任务堆管理的改进，提供更好的数据一致性与资源利用率。

总览

官网

https://hadoop.apache.org/docs/r3.1.4/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

  1. 最低要求的Java版本从Java 7增加到Java 8
  2. 支持HDFS中的擦除编码
  3. YARN时间轴服务v.2
  4. Shell脚本重写
  5. 支持随机container和分布式计划
  6. MapReduce任务级本机优化
  7. 支持两个以上的NameNode
  8. 多个服务的默认端口已更改
  9. 支持Microsoft Azure Data Lake和Aliyun对象存储系统文件系统连接器
  10. 数据内节点平衡器
  11. 重做的守护程序和任务堆管理
  12. S3Guard：S3A文件系统客户端的一致性和元数据缓存
  13. 基于HDFS路由器的联合
  14. Capacity Scheduler队列配置的基于API的配置
  15. YARN资源类型

介绍

了解本专栏 订阅专栏 解锁全文
hadoop3.0新特性
wshyb0314的博客
07-29 1870
1、概要 1. 基于jdk1.8（最低版本要求） 2. mr采用基于内存的计算，提升性能（快spark 10倍） 3. hdfs 通过最近black块计算，加快数据获取速度(块大小：256M) 4. 支持多NameNode(实现了更加可靠的HA) 5. 引入EC纠删码技术(EC: Erasure Coding) 存储空间节省50% 6. 精简了内核 7．hadoop sh...
Hadoop3.0的新特性
python的博客
08-03 3266
1. Hadoop3.0简介 Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。 Hadoop 3.0的alpha版预计今年夏天发布，GA版本11月或12月发布。 Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS
hadoop-3.0新特性
weixin_30362801的博客
05-08 256
1.纠删码将数据存储空间节省50% hadoop-3.0之前，HDFS存储方式为每一份数据存储3份，这也使得存储利用率仅为1/3， hadoop-3.0引入纠删码技术(EC技术)，实现1份数据+0.5份冗余校验数据存储方式 2.Shell脚本重写 （1）增加了参数冲突检测，避免重复定义和冗余参数 （2）CLASSPATH, JAVA_LIBRARY_PATH, and LD_LIBRA...
hadoop 3.0新特性简单介绍
一亩三分地
07-27 9896
过去十年，Apache Hadoop从无到有，从理论概念演变到如今支撑起若干的生产集群。接下来的十年，Hadoop将继续壮大，并发展支撑新一轮的更大规模、高效和稳定的集群。 本文将向大家全面介绍即将到来的Apache Hadoop 3.0新版本——从版本发布状态、背后的故事，到如HDFS erasure coding、YARN federation、NN k-safety等全新的...
精选资源
Hadoop 3.0 新特性原理及架构分析
06-09
Hadoop 3.0 视频教程，经过多年的发展，Hadoop已经日趋成熟，3.0版本发布，预示着Hadoop进入了新的发展阶段，那么Hadoop3.0有哪些内容，哪些值得注意的地方？都是我们值得研究的部分，该课程将重点介绍Hadoop 3.0在...
Hadoop3.0大数据平台性能(1).docx
最新发布
07-05
这些新特性的引入，不仅提高了Hadoop3.0处理大数据的效率，也使它在功能上更为完善，能够更好地满足复杂计算任务的需求。 Hadoop3.0的广泛应用，得益于其开源特性以及高扩展性、高可靠性、高容错性和低成本的特点。...
Hadoop3.0新特性介绍
yang灬仔
12-19 1602
Hadoop3.0新特性介绍，比Spark快10倍的Hadoop3.0新特性 Apache hadoop 项目组最新消息，hadoop3.x以后将会调整方案架构，将Mapreduce 基于内存+io+磁盘，共同处理数据。 其实最大改变的是hdfs,hdfs 通过最近black块计算，根据最近计算原则，本地black块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果。 1....
Hadoop之3.0新特性
吴成伟的博客
02-21 299
将默认的最低jdk从7升级到8 纠删码可以将3倍副本占据的空间压缩到1.5倍，并保持3倍副本的容错。由于在读取数据的时候需要进行额外的计算，用于存储使用不频繁的数据 通过扩展YARN的资源类型，支持CPU和内存之外的其他资源，如GPU、FPGA、软件许可证、本地存储等。 重写了hadoop中的shell脚本，修复了很多长期存在的bug并添加了新特性。有一些改进兼容老版本，有一些不兼容。 对map...
Hadoop3.0版本新特性
雾幻的博客
04-12 2498
Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。 Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN con...
hadoop-3.0.3
10-24
hadoop-3.0.3 的linux 安装包！
Hadoop3.0新特性
m0_52931616的博客
08-17 831
Hadoop3.0新特性
Hadoop 3的新特性
wilder2000的专栏
03-26 531
相对于之前主要生产发布版本Hadoop 2，Apache Hadoop 3整合许多重要的增强功能。 Hadoop 3是一个可用版本，提供了稳定性和高质量的API，可以用于实际的产品开发。下面简要介绍一下Hadoop3的主要变化。 最低Java版本要求从Java7变为Java8 所有Hadoop的jar都是基于Java 8运行是版本进行编译执行的，仍在使用Java 7或更低Java版...
Hadoop 3.0 新特性总结
拉丁解牛技术专栏
10-14 562
JDK8、EC、大于2个namenode、 Java最低版本要求从Java7 更改成Java8 所有的Hadoop JARs都是针对Java 8 编译的。仍在使用Java 7 或更低版本的用户必须升级至Java 8。 HDFS支持纠删码(Erasure Coding) 与副本相比纠删码是一种更节省空间的数据持久化存储方法。标准编码(比如Reed-Solomon(10,4))会有 1.4 倍...
Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）
Huathy的博客
10-25 1633
Hadoop是一个适合海量数据存储与计算的平台。是基于Google的GoogleFS、Map Reduce、BigTable实现的。移动数据：数据 -> 计算程序移动计算：计算程序 -> 数据分布式计算：各个节点局部计算 -> 第二阶段汇总程序官方版本：Apache Hadoop，开源，集群安装维护比较麻烦第三方发行版：Cloudera Hadoop（CDH），商业收费，使用Cloudera Manager安装维护比较方便。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

智能体格

你的鼓将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值