u010237107的专栏

本文是针对hadoop-2.7.1版本，翻译apache官网对于hdfs文件系统的命令的描述，水平有限，有不对处，还望指正。 官方的网址：点击打开链接 总览 FS文件系统包含各种类似shell命令能直接作用于Hadoop分布式文件系统和其他一些Hadoop支持的系统类似 LocalFS, HFTP FS, S3 FS 等等。文件系统的shell这样被调用： bin/

MapReduce教程   MapReduce 教程 目的 环境条件 总览 输入输出 Example: WordCount v1.0 源码 用法 Walk-through MapReduce - User Interfaces Payload Mapper Reducer Partitioner Counter Job Configuration

背景 早在Hadoop2.0.0之前，在一个HDFS集群中，只有一个NameNode,如何这个NameNode因为某种原因挂掉了（SPOF），那么整个集群将不可用。   参考文章 http://www.cnblogs.com/meiyuanbao/p/hadoop2.html http://blog.youkuaiyun.com/skywalker_only/article/details/4030

Job ConfigurationTask Execution & Environment Memory ManagementMap ParametersShuffle/Reduce ParametersConfigured ParametersTask LogsDistributing Libraries Job Submission and Moni

一．前言 本教程旨在在Linux系统中安装7节点Hadoop-2.7.1分布式集群。 在安装之前，你需要确保已经下载如下安装软件包： 1：Linux 操作系统 –Red hat6.4 64bit（命令cat /etc/issue查看系统信息） 2：jdk-7u79-linux-x64.gz 3：hadoop-2.7.1.tar.gz 二．安装环境 1.   安装JDK 解压

背景 之前有一篇高可用HDFS HA的配置文档，此文档类似上次，介绍如何配置高可用Yarn’s ResourceManager,在hadoop中默认只有一个ResourceManger,现在增加一个节点，类似我们的NameNode的active/stangdby状态。   参考文章 http://hadoop.apache.org/docs/current/hadoop-yarn/hado