大数据
关注
分享
扫一扫
文章平均质量分 88
han_zw
这个作者很懒，什么都没留下…
展开
-
中文翻译-mesos架构
mesos 架构 上面这张图展示了mesos的主要部件。mesos由master后台程序、agent后台程序、mesos framework 组成，其中agent运行在每个集群节点上，framework负责在agent上运行任务。 Master能够通过为framework产生资源邀约（resource offers）进行细粒度的资源（CPU、RAM……）调度。每个资源...原创 2016-07-01 17:49:57 · 221 阅读 · 0 评论 -
hadoop 2.7.2 yarn中文文档——YARN 命令
概述YARN命令通过bin/yarn 脚本调用.不传入任何参数运行该脚本会打印所有命令的描述。Usage: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS]YARN有一个option解析框架用来解析通用options和运行class。COMM...原创 2016-11-18 15:33:01 · 659 阅读 · 0 评论 -
hadoop 2.7.2 yarn中文文档——编写 YARN Applications
目标本文在较高层次介绍实现YARN的application的方式。 概念和流程通俗讲就是一个application提交客户端提交一个application到YARN Resource Manager（RM）。通过建立YarnClient对象可以完成这个工作。YarnClient启动之后，client之后可以建立application context，准备包含ApplicationM...原创 2016-11-11 22:58:46 · 491 阅读 · 0 评论 -
hadoop 2.7.2 yarn中文文档——The YARN Timeline Server
概述介绍在YARN中通过Timeline Server用一种通用的形式解决对application的当前和历史信息的存储和检索。它有两个职责：持久化Application特定信息Application或者framework的完整特定信息的收集和检索。例如，Hadoop Mapreduce framework会包含诸如map task数目，reduce task数目，counte...原创 2016-10-24 22:59:27 · 1787 阅读 · 0 评论 -
hadoop 2.7.2 yarn中文文档——Web Application Proxy
Web Application Proxy是YARN的一部分。默认情况下它会作为Resource Manager（RM）的一部分运行，但是可以配置为独立运行的模式。Proxy的意义是减少通过YARN的网络攻击的可能性。在YARN中，Application Master(AM)有责任提供Web UI并将该链接发送至RM。这带来了一些潜在的问题——RM作为一个可信任的用户运行，人们信任正在访问...原创 2016-09-28 15:41:04 · 671 阅读 · 0 评论 -
hadoop 2.7.2 yarn中文文档——YARN Node Labels
概述Node label是将相似特点的节点进行分组的一种途径，application可以指定在哪里运行。现在我们只支持node partition：一个node只能有一个node partition, 所以一个集群通过node partition被分为多个互斥的子集群。默认的，node都属于DEFAULT分区（partition=""）。用户需要配置每个partition可以使用...原创 2016-09-23 13:38:58 · 808 阅读 · 0 评论 -
hadoop 2.7.2 yarn中文文档——ResourceManager High Availability
介绍本指南提供YARN的ResourceManager 的HA概览，以及如何配置和使用这些特性。ResourceManager(RM)负责跟踪集群中的资源，调度application(如MapReduce job)。hadoop 2.4之前，ResourceManager在YARN集群中存在单点故障的隐患。HA特性通过主备ResourceManager的方案解决单点故障问题。架构 ...原创 2016-09-13 10:52:06 · 468 阅读 · 0 评论 -
hadoop 2.7.2 yarn中文文档——ResourceManger Restart
综述ResourceManager是管理资源和调度YARN中运行的application的中心机构。因此，它在Apache YARN 集群中存在潜在的单点故障。本文档给出有关ResourceManager Restart特性的概述，该特性强化ResourceManager可以跨越重启操作继续运转，另外让ResourceManager的停机时间对终端用户不可见。ResourceManag...原创 2016-09-08 13:46:18 · 384 阅读 · 0 评论 -
hadoop 2.7.2 yarn中文文档——Fair Scheduler
目标本文档描述FairScheduler，一个允许YARN应用程序公平共享集群资源的调度插件。 概述公平调度是一个分配资源给所有application的方法，平均来看，是随着时间的进展平等分享资源的。下一代Hadoop可调度多资源类型。默认的，FairScheduler只基于内存的公平调度策略。它可以配置为包括内存和cpu的调度，采用Ghodsi等开发的主资...原创 2016-09-01 22:15:37 · 369 阅读 · 0 评论 -
hadoop 2.7.2 yarn中文文档—— Capacity Scheduler
目标本文档将描述CapacityScheduler，它作为一个可插拔的hadoop调度器,允许多租户安全的共享一个大的集群，在资源分配有限的条件下适时的为应用程序分配资源。 综述CapacityScheduler被设计作为一个共享的、多租户集群用来运行hadoop应用，在操作友好的方式下最大化集群吞吐量和利用率 。传统的，每个组织(Organiza...原创 2016-08-06 10:28:29 · 272 阅读 · 0 评论 -
hadoop 2.7.2 yarn 中文文档——架构
ResourceManager和NodeManager一起构成数据计算框架。ResourceManager是系统中所有应用程序资源决策的最高权威。NodeManager是部署在每台机器的框架的agent，它负责管理各个容器，监控机器的资源使用情况（CPU、内存、存储，网络），以及将这些信息上报给ResourceManager。每个应用程序的ApplicationMaster实际上是一个框架的中...原创 2016-07-20 22:43:42 · 326 阅读 · 0 评论 -
hadoop2.7.2 yarn中文文档——概述
下一代MapReduce——Yarn（MRv2） 在hadoop-0.23中引入的新框架把JobTracker的两个主要功能：资源管理和job生命周期管理分别拆分成了独立的组件。新的ResourceManager管理Application所需计算资源的全局分配，每个独立应用的ApplicationMaster管理应用的调度和协调。一个应用程序可以是类似于经典的MapReduce...原创 2016-07-19 10:25:29 · 493 阅读 · 0 评论 -
伪分布式hadoop 2.x安装部署
在个人虚拟机上搭建hadoop的运行环境的笔记。背景信息：部署版本采用了hadoop 2.6.3；操作系统为centos ，内核2.6.32-504.3.3.el6.x86_64；系统已经正确安装了jdk，本次选定版本为jdk7u79. 一、解压部署1. 下载hadoop 2.6.3 安装包 hadoop-2.6.3.tar.gz，下载页面：http://hadoop.apac...原创 2016-07-08 17:42:59 · 153 阅读 · 0 评论 -
hello 数据仓库
作为笔记记录下，希望对别的朋友有帮助。 Hello DW！1. WHAT 1.1 数据仓库定义 数据仓库不是新事物，它的定义由数据仓库之父——Bill Inmon在1991年发表的著作《Building the Data Warehouse》中提出。本书影响非常大，属于数据仓库的经典著作。Bill Inmon也被人称之为“数据仓库之父”。 ...原创 2016-07-02 17:43:19 · 249 阅读 · 0 评论 -
hadoop 2.7.2 yarn中文文档——NodeManager 重启
介绍本文档给出NodeManager（NM） restart的概览，该feature允许NodeManager在不丢失active container的情况下重启。从更高层面看，NM在处理container-management 请求时将必要的状态信息保存至本地state-store。当NM重启时，它首先为各个子系统加载state信息，之后让这些子系统利用加载的state重新执行恢复。...原创 2016-11-21 11:25:11 · 1573 阅读 · 0 评论