- 博客(13)
- 收藏
- 关注
RSS订阅转载 NodeManager概述(基本职能和内部架构)
概述NodeManager是运行在单个节点上的代理,它需要与应用程序的的ApplicationMaster和集群管理者ResourceManager交互: 从ApplicationMaster上接收有关Container的命令并执行之(比如启动,停止Container); 向ResourceManager汇报各个Container运行状态和节点健康状况,并领取有关Container的命...
2019-09-24 16:17:00
1383
转载 个人博客搭建全记录(Hexo,Github)
搭建过程主要借鉴小歪的博客博客主题airclodHexo,Github建站记录1. 准备Github账号注册登陆Github创建Repository,Repository Name就是YourName.github.io(YourName : 就是注册用户名)安装Git安装Node.js下载Node.JsWindow用户使用安装程序进行安装.安装时,勾选Add t...
2019-09-17 17:11:00
237
转载 Kubernetes --- 详细介绍和架构详解
Kubernetes是一个跨主机集群的开源的容器调度平台,它可以自动化应用容器的部署,扩展和操作,提供以容器为中心的基础架构目录一. Kubernetes用途二. Kubernetes特点三. 介绍容器技术四. Kubernetes能做什么?五. 使用Kubernetes的好处六. 了解架构一. Kubernetes用途Kubernetes是容器集群管理系统,是一个...
2019-09-12 15:44:00
521
转载 使用kubeadm方式安装K8S
Kubeadm安装kubeadm是Kubernetes官方提供的用于快速安装Kubernetes集群的工具，伴随Kubernetes每个版本的发布都会同步更新，kubeadm会对集群配置方面的一些实践做调整，通过实验kubeadm可以学习到Kubernetes官方在集群配置上一些新的最佳实践。安装Docker ceDocker安装每个机器都需要装环境准备编辑hosts对应关系...
2019-09-11 14:55:00
264
转载 ResourceManager学习之Application,状态机管理
Application管理YARN中,Application是指应用程序,他可能启动多个运行实例,每个运行实例由一个ApplicationMaster与一组该ApplicationMaster启动的任务组成,他拥有名称、队列名、优先级等属性,是一个比较宽泛的概念,可以是一个MapReduce作业、一个DAG应用程序，设置可以是一个Storm集群实例(1) ApplicationACL...
2019-09-05 15:45:00
102
转载 ResourceManager学习之ApplicationMaster,NodeManager管理
ApplicationMaster管理部分主要由三个服务构成，分别是ApplicationMasterLauncher、AMLivelinessMonitor和ApplicationMasterService，它们共同管理应用程序的ApplicationMaster的生命周期ApplicationMasterLauncher、AMLivelinessMonitor和Appl...
2019-09-03 15:38:00
350
转载 ResourceManager基本职能和内部架构
YARN也采用了Master/Slave结构，其中，Master实现为ResourceManager，负责整个集群资源的管理与调度；Slave实现为NodeManager，负责单个节点的资源管理与任务启动ResourceManager是整个YARN集群中最重要的组件之一，它的设计直接决定了系统的可扩展性、可用性和容错性等特点，它的功能较多，包括ApplicationMaster管...
2019-09-02 14:17:00
986
转载 YARN底层基础库
YARN基础库是其他一切模块的基础,它的设计直接决定了YARN的稳定性和扩展性,YARN借用了MRV1的一些底层基础库,比如RPC库等,但因为引入了很多新的软件设计方式,所以它的基础库更多,包括直接使用了开源序列化框架Protocol Buffers和Apache Avro,自定义的服务库、事件库和状态机等目录一. 概述二. Protocol Buffers...
2019-08-30 16:39:00
176
转载 Hadoop RPC机制详解
网络通信模块是分布式系统中最底层的模块,他直接支撑了上层分布式环境下复杂的进程间通信逻辑,是所有分布式系统的基础。远程过程调用(RPC)是一种常用的分布式网络通信协议，他允许运行于一台计算机的程序调用另一台计算机的子程序，同时将网络的通信细节隐藏起来，使得用户无需额外地为这个交互作用编程，大大的简化了分布式程序开发 作为一个分布式文件系统，Hadoop实现了自己的R...
2019-08-29 16:17:00
359
转载 Hadoop简介
Hadoop : Hadoop是Apache基金会旗下的一个分布式系统基础架构.主要包括 : 分布式文件系统HDFS,分布式资源管理系统Yarn.可以使得用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的分布式能力进行运算和存储Hadoop核心构成 分布式文件系统HDFS Hadoop分布式文件系统(HDFS)能提供对数据访问的高...
2019-08-28 17:14:00
149
转载 HDFS介绍~超详细
HDFS（Hadoop Distributed File System）(1) HDFS--Hadoop分布式文件存储系统源自于Google的GFS论文，HDFS是GFS的克隆版HDFS是Hadoop中数据存储和管理的基础他是一个高容错的系统，能够自动解决硬件故障，eg：硬盘损坏，HDFS可以自动修复，可以运行于低成本的通用硬件上（低廉的硬盘，4TB是12...
2019-08-27 18:49:00
280
转载 了解MapReduce
再写MapReduce执行流程之前，首先先对MapReduce有一些了解：1. 简介 MapReduce是一个计算框架，既然是做计算的框架，那么表现的形式上就有输入，操作输入，得到结果2.主从结构 a.Hadoop1.0 MapReduce是主从结构，Hadoop1.0的主是JobTracker，从TaskTracker。 JobTracker作用 ： 作业的管理...
2018-05-18 09:30:00
113
转载 Hadoop分布式集群搭建
Hadoop是一个开源的分布式系统框架一.集群准备 1. 三台虚拟机，操作系统Centos7，三台主机名分别为k1,k2,k3，NAT模式 2.节点分布k1: NameNode DataNode ResourceManager NodeManagerk2: SecondNameNode DataNode NodeMana...
2018-05-17 10:59:00
87
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人