Oozie123的博客

Gobblin 是 Hadoop 通用数据摄取框架，可以从各种数据源中提取，转换和加载海量数据。比如：数据库，rest APIs，filers，等等。Gobblin 处理日常规划任务需要所有数据摄取 ETLs，包括作业/任务规划，任务分配，错误处理，状态管理，数据质量检测，数据发布等等。Gobblin 通过同样的执行框架从不同数据源摄取数据，在同一个地方管理所有不同数据源的元数据。同时结合了其他特性

在文章开头，我想先做几点说明： 1、本文的内容来自我对Yarn的相应功能的理解和实践。而我对该部分功能的理解主要来自对Hadoop的开发者之前相应言论的分析，并且我也将我的分析发给了Hadoop community， 并得到了Yarn的创始人兼架构师Arun Murthy的肯定回复。 2、本文中uber的配置部分，主要参考之前Hadoop开发者的言论。但是我当初看该言论的时候对一些细节有所疑惑，

主要参数RM● yarn.scheduler.minimum-allocation-mb 对每个Contaioner，向RM申请内存的最小配置，请求低于此配置，抛出InvalidResourceRequestException。 ● yarn.scheduler.maximum-allocation-mb 对每个Contaioner，向RM申请内存的最大配置，请求大于此配置，抛

win7上使用eclipse阅读hadoop源码准备： 安装maven，protoc(http://www.aboutyun.com/thread-8212-1-1.html) 获取源码 进入hadoop-2.*-src\hadoop-maven-plugins，运行mvn install 进入hadoop-2.*-src，运行mvn eclipse:eclipse -DskipTests 进入ec

0 前言公司某些旧机器总是出现故障，需下架此台机器，该机器部署有regionserver与datanode服务。1 RegionServer下架[注：在即将下架节点上操作]bin/graceful_stop.sh hostname2 DataNode下架[注：在NameNode节点上操作]2.1 添加下架文件excludeglsx.hadoop315 glsx.hadoop3192.2 配置hdfs