Notzuonotdied的博客

前言 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS（Hadoop Distributed File System,）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上，形成分布式系统；...

前言

前言 不知道写啥，还是把几篇比较好的文章放上来。 Hadoop NameNode 高可用 (High Availability) 实现解析 既有原理又有对比的文章。 NameNode 高可用整体架构概述。 NameNode主备切换实现。 NameNode 共享存储实现。 NameNode 高可用运维中的注意事项。 Hadoop NameNode 高可用架构 介绍该高可用架构的主备切换...

前言

前言

前言

前言

前言 HDFS采用了主从Master/Slave结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看，文件被分成若干个数据块，而且这若干个数据块存放在一组DataNode上。NameNode执行文件...

前言 简单学学常见的一些指令。 宿主环境：Ubuntu18.04 虚拟环境：VMWare 虚拟机：Centos7 修改基本配置 　　首先，我们在VMWare中安装一个Centos的虚拟机，安装完毕之后是没有网络，我们需要配置下网络。 修改主机的名称 vim /etc/sysconfig/network 在该文件中添加一下内容 NETWORKKING=yes HOSTN...

前言 大数据是一个以数据为核心的产业，是一个围绕大数据生命周期不断往复循环的生产过程，同时也是由多种行业协同配合而产生的一个复合性极高的行业。 生命周期 数据收集 数据存储 数据建模 数据分析 数据变现 大数据产业 《白话大数据与机器学习》 在大数据产业中，数据通过各种方式、软件进行收集，借助网络这种媒介进行传输，通过与数据中心进行存储，通过数据科学家或者行业专家进行存储，...

前言 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序相当于运行于操作系统之上的应用程序。 Yarn的重要概念 Yarn并不清除用户提交的程序运行机制。 Yarn只提供运算资源的调度（用户程序向Yarn申请资源，Yarn负责分配资源）。 Yarn中的Master是ResourceManage。 Yarn中提供运算资源的角...