- 博客(6)
- 收藏
- 关注
RSS订阅转载 Hadoop 2.2 YARN分布式集群搭建配置流程
搭建环境准备：JDK1.6，SSH免密码通信 系统：CentOS 6.3 集群配置：NameNode和ResourceManager在一台服务器上，三个数据节点 搭建用户：YARN Hadoop2.2下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/ 步骤一：上传Hadoop 2.2 并解压到/export/yarn...
2013-11-27 17:26:00
156
转载 Hadoop学习之--Capaycity Scheduler配置参数说明
以下列举出来的是capacity关于queue和user资源使用量相关的参数说明： mapred.capacity-scheduler.queue.xxx.capacity： 队列的资源容量百分比，所有队列的容量之和应小于100mapred.capacity-scheduler.queue.xxx.maximum-capacity： 队列资源的使用上限百分比...
2013-10-25 16:15:00
131
转载 JAVA使用jdbc连接MYSQL简单示例
以下展示的为JAVA使用jdbc连接MYSQL简单示例： 1 import java.sql.DriverManager; 2 import java.sql.ResultSet; 3 import java.sql.SQLException; 4 5 import com.mysql.jdbc.Connection; 6 import c...
2013-10-25 16:08:00
128
转载 读取jar内的配置文件
读取jar包内的配置文件，可以使用ResourceBundle，具体具体例子如下 1 import java.io.BufferedInputStream; 2 3 import java.io.IOException; 4 5 import java.io.InputStream; 6 7 import java.util.PropertyReso...
2013-10-25 16:03:00
178
转载 Hadoop学习之--Capaycity Scheduler源码分析
Capacity Scheduler调度策略当一个新的job是否允许添加到队列中进行初始化，判断当前队列和用户是否已经达到了初始化数目的上限，下面就从代码层面详细介绍整个的判断逻辑。Capaycity添加一个job，会通过注册的监听器org.apache.hadoop.mapred.JobQueuesManager向队列中添加JOB，添加JOB过程中会检查当前队列和用户是否已经达到资...
2013-10-21 18:05:00
129
转载 Hadoop学习之--Fair Scheduler作业调度分析
Fair Scheduler调度器同步心跳分配任务的过程简单来讲会经历以下环节： 1、 对map/reduce是否已经达到资源上限的循环判断 2、 对pool队列根据Fair算法排序 3、然后循环pool队列，在pool中的job队列根据Fair算法排序，循环job，选择task 4、如果选择到一个task，跳出pool的循环，然后重新对pool排序，重复步骤2 ...
2013-10-21 18:00:00
171
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人