那闯

环境： 环境： ubuntu 12.04, jdk 1.7 用户名都是：nachuang 域名分别是：mcw-cc-nachuang, mcw-cc-node 注：确定 Hadoop 2.0.3 集群可以正常使用，然后stop-all。 Kerberos配置： 参考：http://blog.youkuaiyun.com/edwardvsnc/article/detail

1.在Job初始化时，设定input format，output format，key和value。 2.将HDFS中的block划分成split分给map（在hdfs.xml中dfs.block.size设置block大小）。 3.map通过input format读取(key, value)并处理。处理后将生成数据放入buffer（buffer大小可设定）。 buffer结构：除了key

Hadoop主要服务： HDFS服务： NameNode: 指导Slave的DataNode执行底层的I/O任务，跟踪文件被分割情况，服务于在Master上。 DataNode:   操作的实际执行者，比如删除或添加文件等等，服务于Slave上。 SecondaryNameNode：做Namespace image和Edit log合并，并保存namenode中

Service Name:Dispatcher Service Name:org.apache.hadoop.yarn.server.resourcemanager.rmcontainer.ContainerAllocationExpirer Service Name:AMLivelinessMonitor Service Name:AMLivelinessMonitor Service

Hadoop版本: 2.0.2(Yarn) 添加一个用户   sudo addgroup hadoop   sudo adduser -ingroup hadoop hadoop   sudo vim /etc/sudoers   添加 hadoop ALL=(ALL:ALL) ALL 设置环境变量 vim /etc/profile export JAVA_HOME=/usr/li

Hadoop: 1. 安装JDK 1.6以上，Hadoop 2.0.2包。 2. 添加环境变量： export JAVA_HOME=/usr/lib/jvm/java-7-sun export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PAT

ResourceManager:     ApplicationManager:          负责为AppMaster申请Container （资源），并监控AppMaster的failed     ResourceScheduler:          负责多个application的资源分配，调度Container NodeManager:       负责启动和监控Cont

1. Unhealthy Node     症状：执行MR在submit Job后停止， 不出现Map的进度，一直处在Pending状态，     ResourceManager和NodeManager的Log中无其他异常，在RM开启时的Log中显示节点Unhealthy。     方法：1). yarn-site.xml配置yarn.nodemanager.local-dirs

安装maven和protobuf 我使用的版本分别是：apache-maven-3.0.4(需要maven3.0以上版本)和protobuf-2.4.1： maven下载地址http://maven.apache.org/download.cgi protobuf下载地址http://code.google.com/p/protobuf/downloads/list 1. 添加环境变量/e

测试源码： 下面的代码是从Hadoop 2.0.3中PureJavaCrc32C.java中取出来的： A pure-java implementation of the CRC32 checksum that uses the CRC32-C polynomial, the same polynomial used by iSCSI and implemented on many Int

主机： mcw-cc-nachuang 节点： mcw-cc-node 用户名都为 nachuang 环境：ubuntu 12.04, jdk 1.7 注：确定 Hadoop 1.0.4 集群可以正常使用，然后stop-all。 安装配置 Kerberos 1.9 下载网址： http://web.mit.edu/kerberos/ tar -xvf krb5-1.9.signed.

Hive命令 1)创建表： create table tablename;   默认的分割符是 创建以\t为分割符的表:    e.g.   create table tablename(id int, name string)    row format delimited fields terminated by '\t' 2)插入： load data [local] in