hadoop 2.6.x line 和2.7.x line 区别

最新推荐文章于 2021-10-19 01:03:45 发布

??yy

最新推荐文章于 2021-10-19 01:03:45 发布

阅读量400

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 java python

原文链接：https://my.oschina.net/blueskyer/blog/739101

本文详细介绍了Hadoop2.6和2.7版本的主要特性，涵盖了Hadoop Common、HDFS、YARN及MapReduce等组件的新功能与改进，如Hadoop KMS密钥管理、异构存储支持、YARN长时间运行服务支持等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

hadoop 2.6 line 包括三部分

Hadoop Common

　　1、Key management server (beta版本)。Hadoop KMS是基于KeyProvider API的密钥管理服务器，它是一个Java Web应用程序，内部提供了客户端和服务器组建，它们之间通过REST API在HTTP协议上通信。客户端是KeyProvider的一种实现，并通过KMS HTTP REST API和KMS交互。KMS和它的客户端内置了安全机制，支持HTTP SPNEGO Kerberos授权和HTTPS安全传输。Hadoop KMS对Hadoop和Hadoop用户来说是一个安全网关。它为现有的Hadoop安全组建（authenticatication, confidentiality）提供了相应的接口。(HADOOP-10433)
　　2、Credential provider(beta版本)。它是credential providers内部提供管理credentials, passwords and secrets的命令(HADOOP-10922、HADOOP-11031、HADOOP-10607)

Hadoop HDFS

　　1、异构的存储层进入到第二阶段，主要更新有：（1）、异构存储的应用程序API；（2）、SSD存储层；（3）、内存作为存储层(beta版本)。
　　2、支持Archival存储
　　3、Transparent data at rest encryption
　　4、操作安全的DataNode，无需root访问权限（Operating secure DataNode without requiring root access）。
　　5、热插拔驱动器，支持动态的添加、删除DataNode上面的磁盘，而不需要重启DataNode(beta版本)。
　　6、AES(Advanced Encryption Standard)支持快速的wire encryption。

Hadoop YARN

　　1、在YARN中支持长时间运行的服务，支持应用程序的服务注册。
　　2、支持滚动升级：（1）、ResourceManager上的工作可以保存起来，并可以继续运行;（2）、NodeManager上的Container可以保存起来，，并可以继续运行。
　　3、Support node labels during scheduling；
　　4、在CapacityScheduler中支持基于时间的资源保留(beta版本)；
　　5、为application artifacts提供了一个全局的，共享内存(beta版本)；
　　6、支持在Docker容器中本地地运行applications(alpha版本)。