摸鱼大数据——Hadoop基础理论知识之分布式和集群、框架、HDFS

1、分布式和集群

分布式: 分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事
集群: 集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事

2、Hadoop框架

2.1 概述

Hadoop简介:是Apache旗下的一个用Java语言实现开源软件框架，是一个存储和计算大规模数据的软件平台。
Hadoop起源: Doug Cutting 创建的，最早起源一个Nutch项目。
三驾马车:  谷歌的三遍论文加速了hadoop的研发
Hadoop框架意义: 作为大数据解决方案，越来越多的企业将Hadoop 技术作为进入大数据领域的必备技术。
​
狭义上来说:Hadoop指Apache这款开源框架，它的核心组件有：HDFS,MR,YANR
广义上来说:Hadoop通常是指一个更广泛的概念——Hadoop生态圈
​
Hadoop发行版本: 分为开源社区版和商业版。
开源社区版:指由Apache软件基金会维护的版本，是官方维护的版本体系,版本丰富，兼容性稍差。
商业版:指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本，如: cloudera的CDH等。

2.2 版本更新

1.x版本系列: hadoop的第二代开源版本，该版本基本已被淘汰        
hadoop组成: HDFS(存储)和MapReduce(计算和资源调度)
​
2.x版本系列: 架构产生重大变化，引入了Yarn平台等许多新特性       
hadoop组成:  HDFS(存储)和MapReduce(计算)和YARN(资源调度)
​
3.x版本系列: 因为2版本的jdk1.7不更新,基于jdk1.8升级产生3版本   
hadoop组成:  HDFS(存储)和MapReduce(计算)和YARN(资源调度)

2.3 Hadoop架构详解

简单聊下hadoop架构?
​
当前版本hadoop组成: HDFS , MapReduce ,YARN
​
HDFS: 分布式文件存储系统，Hadoop Distributed File System，负责海量数据存储
    元数据: 描述数据的数据。你的简历就是元数据，你的人就是具体的数据
    NameNode: HDFS中的主节点（Master），主要负责管理集群中众多的从节点以及元数据，不负责真正数据的存储
    SecondaryNameNode: 主要负责辅助NameNode进行元数据的