u010237107的专栏

本文是针对hadoop-2.7.1版本，翻译apache官网对于hdfs文件系统的命令的描述，水平有限，有不对处，还望指正。官方的网址：点击打开链接总览FS文件系统包含各种类似shell命令能直接作用于Hadoop分布式文件系统和其他一些Hadoop支持的系统类似 LocalFS, HFTP FS, S3 FS 等等。文件系统的shell这样被调用：bin/

MapReduce教程 MapReduce教程目的 环境条件总览输入输出 Example: WordCount v1.0源码 用法 Walk-throughMapReduce - User InterfacesPayloadMapperReducerPartitionerCounterJob Configuration

背景早在Hadoop2.0.0之前，在一个HDFS集群中，只有一个NameNode,如何这个NameNode因为某种原因挂掉了（SPOF），那么整个集群将不可用。 参考文章http://www.cnblogs.com/meiyuanbao/p/hadoop2.htmlhttp://blog.youkuaiyun.com/skywalker_only/article/details/4030

Job ConfigurationTask Execution & EnvironmentMemory ManagementMap ParametersShuffle/Reduce ParametersConfigured ParametersTask LogsDistributing LibrariesJob Submission and Moni

一．前言本教程旨在在Linux系统中安装7节点Hadoop-2.7.1分布式集群。在安装之前，你需要确保已经下载如下安装软件包：1：Linux 操作系统 –Red hat6.4 64bit（命令cat /etc/issue查看系统信息）2：jdk-7u79-linux-x64.gz3：hadoop-2.7.1.tar.gz二．安装环境1.   安装JDK解压

背景之前有一篇高可用HDFS HA的配置文档，此文档类似上次，介绍如何配置高可用Yarn’s ResourceManager,在hadoop中默认只有一个ResourceManger,现在增加一个节点，类似我们的NameNode的active/stangdby状态。 参考文章http://hadoop.apache.org/docs/current/hadoop-yarn/hado