那闯

环境：环境： ubuntu 12.04, jdk 1.7用户名都是：nachuang域名分别是：mcw-cc-nachuang, mcw-cc-node注：确定 Hadoop 2.0.3 集群可以正常使用，然后stop-all。Kerberos配置：参考：http://blog.youkuaiyun.com/edwardvsnc/article/detail

1.在Job初始化时，设定input format，output format，key和value。2.将HDFS中的block划分成split分给map（在hdfs.xml中dfs.block.size设置block大小）。3.map通过input format读取(key, value)并处理。处理后将生成数据放入buffer（buffer大小可设定）。buffer结构：除了key

Hadoop主要服务：HDFS服务：NameNode: 指导Slave的DataNode执行底层的I/O任务，跟踪文件被分割情况，服务于在Master上。DataNode:   操作的实际执行者，比如删除或添加文件等等，服务于Slave上。SecondaryNameNode：做Namespace image和Edit log合并，并保存namenode中

Service Name:DispatcherService Name:org.apache.hadoop.yarn.server.resourcemanager.rmcontainer.ContainerAllocationExpirerService Name:AMLivelinessMonitorService Name:AMLivelinessMonitorService

Hadoop版本: 2.0.2(Yarn)添加一个用户  sudo addgroup hadoop  sudo adduser -ingroup hadoop hadoop  sudo vim /etc/sudoers  添加 hadoop ALL=(ALL:ALL) ALL设置环境变量vim /etc/profileexport JAVA_HOME=/usr/li

Hadoop:1. 安装JDK 1.6以上，Hadoop 2.0.2包。2. 添加环境变量：export JAVA_HOME=/usr/lib/jvm/java-7-sunexport JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PAT

ResourceManager:    ApplicationManager:         负责为AppMaster申请Container （资源），并监控AppMaster的failed    ResourceScheduler:         负责多个application的资源分配，调度ContainerNodeManager:      负责启动和监控Cont

1. Unhealthy Node    症状：执行MR在submit Job后停止， 不出现Map的进度，一直处在Pending状态，    ResourceManager和NodeManager的Log中无其他异常，在RM开启时的Log中显示节点Unhealthy。    方法：1). yarn-site.xml配置yarn.nodemanager.local-dirs

安装maven和protobuf我使用的版本分别是：apache-maven-3.0.4(需要maven3.0以上版本)和protobuf-2.4.1：maven下载地址http://maven.apache.org/download.cgiprotobuf下载地址http://code.google.com/p/protobuf/downloads/list1. 添加环境变量/e

测试源码：下面的代码是从Hadoop 2.0.3中PureJavaCrc32C.java中取出来的：A pure-java implementation of the CRC32 checksum that usesthe CRC32-C polynomial, the same polynomial used by iSCSIand implemented on many Int

主机： mcw-cc-nachuang节点： mcw-cc-node用户名都为 nachuang环境：ubuntu 12.04, jdk 1.7注：确定 Hadoop 1.0.4 集群可以正常使用，然后stop-all。安装配置 Kerberos 1.9下载网址： http://web.mit.edu/kerberos/tar -xvf krb5-1.9.signed.

Hive命令1)创建表： create table tablename;  默认的分割符是 创建以\t为分割符的表:   e.g.  create table tablename(id int, name string)   row format delimited fields terminated by '\t'2)插入： load data [local] in