貌似君子的专栏

目标这个文档从用户的角度出发，全面介绍MapRecue框架的各个方面。先决条件确保你的Hadoop已经安装好，并且正在运行，详细信息请查看：单点集群：http://blog.youkuaiyun.com/maosijunzi/article/details/78395805 分布式集群：http://blog.youkuaiyun.com/maosijunzi/article/details/78396299 分布式集

概述文件系统（FS）shell包含很多很像shell的命令，可以直接和HDFS交互。就像 Local FS，HFTP FS，S3 FS等。FS SHELL 可以用下面的命令执行：bin/hadoop fs <args>所有的FS SHELL命令都需要一个URI作为参数，URI的格式为：scheme://authority/path对于HDFS来说，scheme就是hdfs。对于Local FS来说s

学过上一章快速入门之后，本章详细的介绍hbase的配置。请仔细的阅读本章节，尤其是基本先决条件，保证HBase测试和部署的正常工作，预防数据丢失配置文件hbase和hadoop使用相同的配置系统。所有的配置文件在conf目录下，集群中所有节点中的配置必须保持同步，所有的配置文件如下： backup-masters 默认是不存在的，是一个文本文件，列出所有需要启动备份Master的主机名称或ip，

环境CentOS6.5+jdk1.8+Hadoop2.8.2；概述本文档搭建三台hadoop的集群，其中一台为Master，两台为Slaves。 Master上的进程：NameNode，SecondaryNameNode，ResourceManager。 Slaves上的进程：DataNode，NodeManager。准备环境设置hostname我们定义三台服务器的host那么为hadoop1,

概述所有的hadoop命令都是靠bin/hadoop脚本来执行。不带任何参数执行bin/hadoop脚本会打印出所有命令的描述。 用法如下：hadoop [--config confdir] [--loglevel loglevel] [命令] [常规选项] [命令选线] 选项 描述 –config confdir 覆盖默认配置目录，默认是${HADOOP_HOME}/conf

介绍Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的

概述你可以使用Hbase用来随机，实时的读写大数据。这个项目的目标是处理非常大的表：数十亿行和列，并且使用廉价的服务器集群就可以实现。Hbase是开源的，分布式的，非关系型数据库。可以直接使用本地系统文件，也可以使用Hadoop的HDFS文件存储系统。不过为了提高数据的可靠性和系统的健壮性，并且发挥HBase处理大数据的能力，建议使用HDFS作为文件存储系统。单节点安装这个章节介绍单节点HBase的

目标这个文档介绍怎么使用Hadoop集群，从几个节点到几千个节点。想要玩转Hadoop，你可能需要先尝试一下单节点模式：see（单节点模式） 这个文档不包括一些高级主题，比如：安全性和高可用性。需求安装java正确版本。（单节点模式中介绍了如何选择正确java版本）从Apache镜像下载稳定版的Hadoop。安装安装一个Hadoop集群需要在不同的机器上解压软件。把不同的硬件（服务器）拆分为

YARN的核心思想是把资源管理和任务调度/监控分离到不同的进程中。这个思想的实现依赖于全局的ResourceManager（RM）和每个应用的ApplicationMaster（AM）。 一个应用就是一个单独的作业或者DAG。ResourceManager和NodeManager形成了数据计算框架， ResourceManager是系统中所有应用的资源仲裁者。 NodeManager是个代理，

目标本文档描述怎样安装和配置一个单节点的Hadoop，让你最快的使用MapReduce和HDFS来进行一些简单的操作。需求平台支持GNU/Linux可以用作开发和正式平台，Hadoop在GNU/Linux平台集群2000个节点已经被证实是可行的。windows平台也是支持的，不过下面文档中的步骤都是在Linux上的，如果要在windows上安装Hadoop，请查看wiki page软件支持li

概述在不久的过去，大数据的应用越来越多。为了支持这些应用以及扩展老的应用，很多新的数据管理系统被开发出来，被称作大数据革命。这些系统中很多都是开源和社区驱动的。Apache Hbase就是这样的一个系统，是一个开源的分布式的数据库，和Google Bigtable类似。并且发展迅速，为那些需要快速随机访问的大数据应用提供了好的选择。建立在Apache Hadoop之上，并且和Hadoop紧密的集成。