
Hadoop
文章平均质量分 72
人生偌只如初见
学历代表过去,财力代表现在,学习力代表将来,所见所闻改变一生,不知不觉断送一生。
展开
-
YARN ResourceManager调度器的分析
YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器,探讨三种调度器的设计侧重,最后给出一些配置建议和参数解释。名词解释:ResourceManager:以下简称RM。YARN的中控模块,负责统一规划资源的使用。NodeManager:以下简称NM。YARN的资源结点模块,负责启动管理container。Applicat转载 2014-10-28 12:48:41 · 1556 阅读 · 0 评论 -
YARN NodeManager 剖析
一 概述 NodeManager是运行在单个节点上的代理,它管理Hadoop集群中单个计算节点,功能包括与ResourceManager保持通信,管理Container的生命周期、监控每个Container的资源使用(内存、CPU等)情况、追踪节点健康状况、管理日志和不同应用程序用到的附属服务等。 NodeManager是YARN中单个节点的代理转载 2014-10-28 12:59:21 · 2923 阅读 · 0 评论 -
Tachyon学习笔记-安装部署与运行实例
Tachyon版本:tachyon-0.5.0-bin.tar.gz原创 2014-11-21 00:43:03 · 2248 阅读 · 1 评论 -
ES-Hadoop学习笔记-初识
ES-Hadoop是连接快速查询和大数据分析的桥梁,它能够无间隙的在Hadoop和ElasticSearch上移动数据。ES Hadoop索引Hadoop数据到Elasticsearch,充分利用其查询速度,大量聚合能力来使它比以往更快,同时可以使用HDFS作为Elasticsearch长期存档。ES-Hadoop可以本地集成Hadoop生态系统上的很多流行组件,比如Spark、Hive、Pig、原创 2016-06-27 00:30:23 · 16181 阅读 · 1 评论 -
Tez学习笔记-初识
Apache Tez是一个针对Hadoop数据处理应用程序的新分布式执行框架。Tez是Apache最新的支持DAG作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。Hadoop传统上是一个大量数据批处理平台。但是,有很多用例需要近乎实时的查询处理性能。还有一些工作则不原创 2017-01-21 15:42:38 · 7585 阅读 · 0 评论 -
Tez学习笔记-UI安装部署
相关版本tez使用版本:tez-0.8.4.tar.gztomcat使用版本:tomcat-8.0.36.tar.gzhadoop使用版本:hadoop-2.7.2.tar.gz修改HADOOP配置文件yarn-site.xml,添加以下内容 yarn.timeline-service.enabled true原创 2017-01-22 15:33:33 · 3258 阅读 · 1 评论