（一）大数据实战——hadoop的基本概念与组成

前言

本节内容是大数据开篇的内容，主要介绍一下大数据的相关概念，以及hadoop组件的组成部分及架构，内容我们主要以hadoop3为例。hadoop主要解决海量数据的存储和海量数据的分析计算问题。为了便于我们理解后续的学习内容，本节内容也算是作者的学习笔记，不足之处，还望各位读者多多包涵，小白一枚。

正文

• 大数据的特点

- Volume（大量）：企业的数据量已经接近EB量级

- Velocity（高速）：实现对海量数据的快速处理

- Variety（多样）： 数据分为结构化数据和非结构化数据（日志、音频、视频、图 片、地理位置）

- Value（低价值密度）：从海量数据中获取有价值的数据

• hadoop的优势

- 高可靠性：Hadoop底层使用多数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。

- 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。

- 高效性：在MapReduce的思想下，Hadoop可以实现并行工作，以加快任务的处理速度。

- 高容错性：能够自动将失败的任务重新分配。

• hadoop的组成

1.HDFS分布式文件存储系统

- NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、 文件权限），以及每个文件的块列表和块所在的DataNode等。

- DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。

- Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

2.YARN资源协调器

- ResourceManager（RM）：管理整个集群资源（内存、CPU等）

- NodeManager（NM）：管理单个节点服务器资源

- ApplicationMaster（AM）：单个运行的任务

- Container：容器，相当一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等

3.MapReduce计算

- Map阶段并行处理输入数据

- Reduce 阶段对 Map 结果进行汇总

•  HDFS、YARN、MapReduce三者之间的关系

结语

本节内容到这里就结束了，我们下期见。。。。。。