三分地

xuexiApache Hadoop 2.2.0 Apache Hadoop 2.2.0 比起之前的稳定发行版（hadoop-1.x），有一些明显的改进。这是对HDFS和MapReduce的改进的简短概览。HDFS Federation(联合)        为了能对name service进行水平的扩展，federation使用了多个独立的Name

目的这份文档描述 CapacityScheduler,一个为Hadoop能允许多用户安全地共享一个大集群的插件式调度器，如他们的应用能适时被分配限制的容量。概述CapacityScheduler 被设计成以分享的、多用户集群运行 Hadoop 应用并最大化利用集群的机制。传统上，每一个组织都会有它自己的私有电脑资源，在顶峰或接近顶峰状态有充足的容量来面对组织的SLA

MapReduce在hadoop-0.23中已经经历了一次完全彻底地大修，就是现在我们叫的MapReduce 2.0 (MRv2) or YARN.MRv2的基本思想是把JobTracker分成两个主要的功能，资源管理和工作调度/监控，变成独立的进程。有一个全局的ResourceManager (RM)和每个应用的ApplicationMaster (AM)。一个应用要么是一个典型的Map

简介可插入的 shuffle 和 sort 功能，允许在shuffle 和 sort 逻辑中用可选择的实现类替换。这个情况的例子是：用一个不是HTTP的应用协议，如RDMA来 shuffle 从Map节点中到Reducer节点的数据；或者用自定义的允许 Hash聚合和Limit-N查询的算法来代替sort逻辑。重要: 可插入的 shuffle  sort 功能是实验性的、不稳定。这意味着提

Web应用代理是YARN的一部分. 默认地，它会作为 Resource Manager(RM)的一部分来运行, 但是也可以配置成独立运行的模式。使用代理的原因就是降低通过YARN的web攻击的可能性。 在YARN中，Application Master(AM) 有责任提供web界面并把链接发给RM。这给一些可能的问题打开了大门。 RM 作为一个可信的用户在运行，访问那个web地址的用户会认

目的这份文档描述了如何安装、配置和管理从几个节点到有数千个节点的Hadoop集群。玩的话，你可能想先在单机上安装。(看单节点配置)。准备从Apache镜像上下载一个Hadoop的稳定版本。安装安装一个Hadoop集群，一般包括分发软件到所有集群中的机器上或者是安装RPMs。一般地，集群中的一台机器被唯一地设计成NameNode,另一台机器被设置成Reso

目的此文档描述了 FairScheduler, Hadoop 的一个可插入式的调度器，允许 YARN 应用在一个大集群中公平地共享资源。简介公平调度是一种分配资源给应用的方法，以致到最后，平均上所有应用获得相等的资源。  Hadoop NextGen 能够调度多种类型的资源。默认的， Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 

Mapreduce 包你需从发布页面获得MapReduce tar包。若不能，你要将源码打成tar包。$ mvn clean install -DskipTests$ cd hadoop-mapreduce-project$ mvn clean install assembly:assembly -Pnative注意：你需要安装有protoc 2.5.0。忽略本地建立map

目的使用 CLI MiniCluster, 用户可以简单地只用一个命令就启动或关闭一个单一节点的Hadoop集群，不需要设置任何环境变量或管理配置文件。 CLI MiniCluster 同时启动一个 YARN/MapReduce 和 HDFS 集群。这对那些想要快速体验一个真实的Hadoop集群或是测试依赖明显的Hadoop函数的非Java程序 的用户很有用。Hadoop Ta

目的这份文档在一个高层次上描述了为YARN实现新应用的方式。概念和流普遍的概念是一个 '一个应用提交客户端' 提交一个 '应用' 给 YARN资源管理器。客户端和服务端用 'ApplicationClientProtocol' 通信，若需要会首次通过ApplicationClientProtoco#getNewApplicationl获取一个新的 'ApplicationI

简介本文档对从 Apache Hadoop 1.x 迁移他们的Apache Hadoop MapReduce 应用到 Apache Hadoop 2.x 的用户提供了一些信息。在 Apache Hadoop 2.x 中，我们已经把资源管理功能放入 分布式应用管理框架 的Apache Hadoop YARN,而 Apache Hadoop MapReduce (亦称 MRv2) 保持

概览这个入门教程描述了native(本地？原生？)hadoop库，包含了一小部分关于native hadoop共享库的讨论。This guide describes the native hadoop library and includes a small discussion about native shared libraries.注意: 根据你的环境，词组 "native l

简介此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。Use Case下一部分描述的的代码示例对此用户用例是可用的。一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户

目的此文档描述了如何为Hadoop配置和管理 Service Level Authorization 。预备条件确保已经安装Hadoop,配置和设置都正确了。更多细节，请看：* 首次使用者的单节点设置 * 大的、分布式集群的集群设置。概览Service Level Authorization 是一个必要的初始认证机制，其确保客户端连接到一个有必要的、预配置的、权

简介 Encrypted Shuffle capability (加密洗牌功能?)允许用HTTPS 和 可选的客户端验证 (也称作双向的 HTTPS, 或有客户端证书的 HTTPS) 去加密 MapReduce shuffle.它包括:在HTTP 和 HTTPS 之间绑定 shuffle 的一个 Hadoop 配置用来指定 keystore 和 truststore 属性的Hado

FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认schem

简介此文档描述了如何配置Hadoop HTTP web控制台，去要求用户认证。默认地，Hadoop HTTP web控制台(JobTracker, NameNode, TaskTrackers 和 DataNodes)不需要任何认证就允许访问。与Hadoop RPC相似, Hadoop HTTP web控制台可以被配置为需要使用HTTP SPNEGO协议认证(由FireFo