yarn中需要配置很多内存，比如

今天，通过HiveMetaStoreClient查询Hive的表信息，

紧跟之前Hadoop 开源调度系统zeus(一)本节主要介绍一下

大数据分析中，经常使用Hadoop来做离线

需要进一步学习hadoop、需要看看内部源码实现，因此需要将hadoop源码导入都eclipse中，简单总结一下，具体步骤如下：首先确保已经安装了git、maven3、protobuf2.5、如果没有安装需要提前安装一下1、下载hadoop源码git clone git://git.apache.org/hadoop-common.git2、进入hadoop-common目录，

MR2中如果需要从数据库中读取或者写入数据，需要自己实现Writable和DBWritable两个接口，同时还需在DBConfiguration对数据库的元信息做相应配置。下面这个例子是Hadoop自带的，只是将数据库改为MySQL，在执行之前需要将Java连接MySQL的驱动上传到每台机器的${HADOOP_HOME}/share/hadoop/common路径下这里需要说明两点：1

Apache Ambari 1.4.4安装指南操作系统：CentOS6集群机器列表：hadoop.master.com(192.168.1.204)hadoop.slave1.com(192.168.1.205)hadoop. slave2.com(192.168.1.206)ambari server安装节点及用户hadoop.master.com/root前

日志是定位问题最重要的手段，hadoop2中的日志主要有三类：系统日志；应用日志（Job）；标准输出系统日志系统日志指各个组件打印的日志，如resourcemanager、namenode等，系统日志默认在${HADOOP_HOME}/logs目录下，格式为hadoop-username-service.log或者yarn-username-service.log，这个比较简单，很容易在找

开始学习写一些MR编程实例，工作中即将使用(刚刚开始，如果有错误和建议，欢迎指出）现在有一个文件，里面记录了全校所有学生各科成绩，求每个学生的平均成绩，格式如下小明 语文 92小明 数学 88小明 英语 90小强 语文 76小强 数学 66小强 英语 80小木 语文 60小木 数学 65小木 英语 61解决思路Map阶段先将数据拆成k

紧接上一篇http://blog.youkuaiyun.com/yangfei001/article/details/18674357这里主要从源码分析一下ResourceManager的main方法主要做了哪些事情：main方法中，主要就是下面这段代码//获取配置信息Configuration conf = new YarnConfiguration();//实例化一个资源管理器Res

之前分析的估计过于细了，从这篇开始，分析一下ResourceManager的起点过程，这是第一篇，先分析一下shell部分1、起点hadoop最简单的方式是执行$HADOOP_HOME/sbin/start-all.sh,在hadoop2中，该脚本实际已经被start-dfs.sh和start-yarn.sh所代替，所以执行之后会打印"This script is Deprecated.

今天跟小伙伴讨论一下hadoop的机架感知机会，又去刨了一下hadoop源码，初略的知道了hadoop机架感知实现     首先我们都知道hadoop默认会将数据存储三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架

ResourceManager的另一个重要成员：该类主要定时生成ResourceManager容器的密匙，NodeManager定期上来更新，以保证每个NodeManager都是活的并且都是系统安全识别的NodeManager，其主要逻辑public void start() { rollMasterKey(); this.timer.scheduleAtFixedRate(n

由于hadoop2中最大，也炒的比较火的就是yarn，所以先看看yarn，关于yarn是什么东西或者架构，这里就不做详细说明，网上随便一搜就有了，给一个yarn的整体架构图从上图可知，yarn里面最主要的Resource Manager(很不幸，又一个单点），所以我们从ResourceManager开始，今天先分析ResourceManager的第一个成员ClientToAMToken

hadoop源码分析系列说明一直想看看Hadoop的源码，之前虽然看了一点点，但是也没有在大脑（内存）中的信息保存到笔记（硬盘）中，所以在近期开始认真研读Hadoop源码，并将自己的理解记录下来。选择的hadoop版本为apache hadoop2.2，所有的文章都是自己的理解，如果有错误或者讲解不清楚的地方，或许逐步修改。当然如果有大拿能够指出不足之处，衷心感谢