DK的专栏

Hadoop-2.2.0编译安装步骤  环境： 系统 CentOS 6.3 64位 * 3  Master   192.168.80.90Slave1   192.168.90.91Slave2   192.168.80.92软件： Hadoop-2.2.0-src.tar.gz   一，准备环境 1.1  分别设置三台节点ip地址（固定

Hadoop Map/Reduce教程目的先决条件概述输入与输出例子：WordCount v1.0源代码用法解释Map/Reduce - 用户界面核心功能描述MapperReducerPartitionerReporterOutputCollector作业配置任务的执行和环境作业的提交与监控作业的控制作业的输入InputSpl

Hadoop StreamingHadoop StreamingHadoop streaming是Hadoop的一个工具， 它帮助用户创建和运行一类特殊的map/reduce作业， 这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当mapper或者reducer。例如：$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/h

概念和流程The general concept is that an 'Application Submission Client' submits an 'Application' to the YARN Resource Manager. The client communicates with the ResourceManager using the 'Applica

Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个： static FileSystem get(Config

MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图5-6所示。图5-6Mapper任务的执行过程每个Mapper任务是一个java进程，它会读取HDFS中的文件，解析

软件CentOS-5.8-i386  Hadoop2.2.0 VMWare 8 Eclipse JUNO JDK 7u45 FileZilla Putty规划两台虚拟机组成的集群（下篇介绍集群，机器差带不起来更多了）：192.168.1.103 master192.168.1.133 node1安装基础环境：安装操作系统并使用桥连方式设置主机名为

1 建立一个java项目，将hadoop依赖的包导入项目中2 创建Mapper类public class MapperClass extends Mapper{IntWritable one = new IntWritable(1);Text word = new Text();protected void map(Object key, Text value,org.apac

安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。单机模式单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某

博客：http://www.taobaotest.com/users/qa/blogs?uid=222http://dongxicheng.org/recommend/http://www.cloudera.com/content/cloudera/en/why-cloudera/hadoop-and-big-data.html

安装zookeepervi /etc/security/limits.conf hadoop - nofile  32768 hadoop soft/hard nproc 32000 vi /etc/pam.d/login session required  pam_limits.so 上传文件 tar xfz zookeeper-3.4.5.tar.gz

HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 1. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtabl

引言跟Hadoop的无缝集成使得使用MapReduce对HBase的数据进行分布式计算非常方便，本文将以前面的blog示例，介绍HBase下MapReduce开发要点。很好理解本文前提是你对Hadoop MapReduce有一定的了解，如果你是初次接触Hadoop MapReduce编程，可以参考http://qa.taobao.com/?p=10523 这篇文章来建立基本概念。HBase

引言HBase提供了Java Api的访问接口，掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要，本文将继续前两篇文章中blog表的示例，介绍常用的Api。练习前的准备工作创建一个Maven工程，加入以下依赖：org.apache.hbasehbase0.90.2如果你的Maven库里还没有hbase，还需要配置下repository

几大Filters1、Comparision Filters     1.1  RowFilter1.2 FamilyFilter     1.3 QualifierFilter     1.4 ValueFilter     1.5 DependentColumnFilter2、Dedicated Filters     2.1 SingleColumnValue

前面学习了第一代的MR，今天开始学习一下YARN，MR部分的源码会在以后的源码分析中介绍，相关的优化也会在其中实现，该分析应该会在学习完大部分hadoop生态圈后进行深入的学习。下面开始正题：MapReduce在hadoop-0.23中已经进行了升级，这个升级被我们成为MapReduce 2.0 (MRv2)或者是YARN。MRv2的基本思路就是将MapReduce h

Hadoop2.2.0还算比较新的，还没有配套的Eclipse插件，在Github上看到有高手编译的插件，就下来编译，可是速度奇慢，还好经过搜索找到了别人根据此Github项目编译生成的插件，拿来分享。此插件还不稳定。    插件下载地址：    1.点击打开链接（原地址）    2.点击打开链接（百度云盘地址）    另外附上博客地址：http://kangfoo

概述所有hadoop的命令都是在bin/hadoop下，不需要参数进行调用，一些默认的参数和用法如下：用法: hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]COMMAND_OPTIONDescription--config confdir

FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs  的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统，scheme是hdfs ，对本地文件系统，scheme是file 。其中scheme和 authority参数都是可选的，如果未加指定，就会使用配置中指定

环境准备拷贝一份master的虚拟机文件并重新命名为node1启动两台虚拟机setup命令修改node1 ip重启服务service network restartvi/etc/sysconfig/networkhostnamenode1删除datanode没用的数据文件修改主机名修改slaves运行master启动节点cd /home/soft

目的本指南概述HDFS的高可用性(HA)的特性,以及如何配置和管理HA HDFS集群,使用QJM特性。本文假设读者有一个大致了解通用组件和一个HDFS集群中的节点类型。详情请参阅HDFS架构指南。注意：QJM或者共享存储本指南将要讨论如何配置并利用QJM实现HA通过在活动的NameNode与备份的NameNode之间共享edit日志，对于如何通过共享存储代替QJM实

目的本指南概述HDFS的高可用性(HA)的特性,以及如何配置和管理HA HDFS集群,使用NFS实现NameNode共享存储本文假设读者有一个大致了解通用组件和一个HDFS集群中的节点类型。详情请参阅HDFS架构指南。注意：QJM或者共享存储本指南讨论如何配置使用HDFS HA使用NFS目录在活跃的和备份的NameNode之间分享edit日志，对于如何通过QJM

背景HDFS has two main layers:NamespaceConsists of directories, files and blocksIt supports all the namespace related file system operations such as create, delete, modify and list files and

综述HDFS Snapshots are read-only point-in-time copies of the file system. Snapshots can be taken on a subtree of the file system or the entire file system. Some common use cases of snapshots are d

HDFS ArchitectureIntroductionThe Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities with existing distributed fi

综述Offline Edits Viewer is a tool to parse the Edits log file. The current processors are mostly useful for conversion between different formats, including XML which is human readable and easier

本文是hadoop HA 方案Quorum Journal设计的翻译。原文参考这个链接中的附件：https://issues.apache.org/jira/browse/HDFS-30771 概述1.1 背景  HDFS-1623和相关的JIRAs加入了对HDFS NameNode高可用性的支持，但是依赖一个共享存储目录，在里面存储共享的edit log。这个

综述The Offline Image Viewer is a tool to dump the contents of hdfs fsimage files to human-readable formats in order to allow offline analysis and examination of an Hadoop cluster's namespace. The

HDFS Users Guide这篇文章作为工作在Hadoop分布式文件系统(HDFS)，无论是作为Hadoop集群的一部分还是作为一个独立的通用的分布式文件系统的用户的一个起点。HDFS设计用来在多种环境中轻松的使用，HDFS的工作知识非常有助于对一个特定集群配置的提升和诊断工作。综述HDFS是Hadoop应用程序所使用的主要分布式存储。一个HDFS集群主要有

环境：SVN或者小乌龟antmavenprotoc（http://download.youkuaiyun.com/detail/can007/5816063）VS2010第一步：从SVN下载code使用Eclipse插件或者小乌龟从https://svn.apache.org/repos/asf/hadoop/common/branches/branch-2.2.0，获得源码。

综述HDFS允许管理员为使用的命名和每个个人的文件夹设置配额。命名配额和空间配额独立操作，但是这两种陪管理和实现是连接紧密的。命名配额命名配额是一个在这个文件夹下文件和文件夹的数目。如果超过限额那么文件和文件夹的创建会失败，重命名后命名配额仍然起作用。如果重命名操作违反配额的限制，那么重命名会失败。新创建的目录中没有配额的限制。Long.Max_Value表示最大限额。如果配额

一、 简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop