
yarn
lalaguozhe
陈昱康,对分布式计算和存储、调度、查询引擎、在线离线混部、数据安全,工具平台,高并发等方面有丰富研发和实践经验
展开
-
客户端MapReduce提交到YARN过程(一)
在Mapreduce v1中是使用JobClient来和JobTracker交互完成Job的提交,用户先创建一个Job,通过JobConf设置好参数,通过JobClient提交并监控Job的进展,在JobClient中有一个内部成员变量JobSubmissionProtocol,JobTracker实现了该接口,通过该协议客户端和JobTracker通信完成作业的提交 public vo原创 2013-08-20 14:42:50 · 6917 阅读 · 0 评论 -
YARN安装配置初体验
本安装在开发实验环境中部署,只涉及到全局资源管理调度系统YARN的安装,HDFS还是第一代,没有部署HDFS Federation和HDFS HA,后续会加上。OS: CentOS Linux release 6.0 (Final) x86_64部署机器:dev80.hadoop 192.168.7.80dev81.hadoop 192.168.7.81dev82.hado原创 2013-08-19 12:10:54 · 11552 阅读 · 0 评论 -
客户端MapReduce提交到YARN过程(二)
客户端通过RPC协议ClientRMProtocol提交Application,其实是提交了一个SubmitApplicationRequest,在Hadoop 1.0时代,是使用Writable作为序列化和反序列化框架的,而在2.0中hadoop已经废弃掉了,改用了ProtocolBuffer,它除了支持多种语言外最大的好处是向后兼容性,这样不同版本的AM,Client,RM和NM之间能相互通信原创 2013-08-21 13:19:10 · 2420 阅读 · 1 评论 -
ResourceManager架构解析
RM作为master管理着所有的集群资源,它会和NM和特定application的AM共同工作1. NodeManagersNM从RM中获得指令,并管理着单节点上可用资源2. ApplicationMasters负责和RM协调,然后通知NM来启动资源容器RM有如下部件:1. RM和客户端交互的部件ClientRMService原创 2013-08-22 17:15:37 · 3278 阅读 · 0 评论 -
第二代map-reduce架构YARN解析
需求我们在考虑hadoop map-reduce框架的时候,最重要需求包括:1. reliability 可靠性,主要是resource manager可靠性2. availability 可用性 3. scalability 可扩展性,能支撑10000到20000节点的cluster4. backward compatibility 向后兼容性,支持之前写mapreduce a原创 2013-08-19 17:56:54 · 4956 阅读 · 0 评论 -
YARN加载本地库抛出Unable to load native-hadoop library解决办法
用官方的Hadoop 2.1.0-beta安装后,每次hadoop命令进去都会抛出这样一个WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable设置logger级别,看下原创 2013-08-30 10:30:44 · 27801 阅读 · 9 评论 -
Hadoop 2.x(YARN)安装配置LZO
今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,在这边记录整个安装配置过程1. 安装LZO下载lzo 2.06版本,编译64位版本,同步到集群中wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gzexport CFLAGS=-m64./configure -en原创 2013-09-02 15:17:27 · 6863 阅读 · 5 评论 -
YARN & HDFS2 安装和配置Kerberos
今天尝试在开发集群上配置Kerberos,遇到一些问题,记录一下设置hadoop securitycore-site.xml hadoop.security.authentication kerberos hadoop.security.authorizatio原创 2013-09-11 16:28:49 · 13335 阅读 · 10 评论