Hadoop大数据存算分离需要什么样的存储？

据IDC预测，到2021年，至少50%的全球GDP将由数字化驱动。面对海量数据，企业亟需通过更加现代化、敏捷、高性能的IT基础设施来推进业务持续发展。

当今世界，只有很少的数据得到了分析，还有巨大的待开发潜能，在高达3000亿美元的以数据为驱动的市场中，中国在人工智能、物联网和5G等技术方面已经逐渐成熟，为中国数字经济蓬勃发展奠定了基础，而那些尚未被充分利用的数据，就是新商业价值的关键元素。

01．数据湖的价值

数据湖支持以其本机或接近本机的格式存储数据，从而为高技能的数据科学家和分析师提供了未完善的数据视图。数据湖提供了一个没有折衷的环境，以及相应的记录分析系统所共有的保证和利益，即语义一致性，治理和安全性。

因此，数据湖特别适合科学家对未知数据和未知问题的探索。很多暂时得不到分析的数据，可以暂时统一保存在数据湖里。

02．Hadoop是数据湖最常用的解决方案

Hadoop的一个主要优势是支持围绕未知数据和未知问题的这些探索性用例。它在LDW（逻辑数据仓库）中扮演的角色在基于数据管理基础设施模型的右上象限 - 未知数据领域和未知问题。由于Hadoop技术针对语义灵活性进行了优化，因此它可以与传统的结构化数据仓库并列，从而实现更广泛的数据类型，最终用户和用例。

虽然现在Hadoop没有前几年那么热，但是，它依然是数据湖最常用的解决方案。最近的Gartner研究数据表明，Hadoop的部署和需求仍然很大并且正在增长。在最近的一项调查中，有235名受访者表示，34％的受访者目前正在使用Hadoop进行数据和分析工作，另有55％的受访者计划在未来24个月内进行调查，总计达到89％。这是Gartner 2016年研究以来的需求最大幅度增加。

03．HDFS的局限

Apache Hadoop是一个高度可扩展的系统，广泛应用于大数据存储和分析。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。

HDFS主要由三部分构成：

▪ NameNode：NameNode 上保存着整个HDFS的命名空间和数据块映射关系。所有的元数据操作都将在NameNode中处理；

▪ DataNode：DataNode将HDFS数据以文件的形式存储在本地的文件系统中，它并不知道有关HDFS文件的信息；

▪ DFSClient：HDFS的客户端，在Hadoop文件系统中，它封装了和HDFS其他实体的复杂交互关系，为应用提供了一个标准的、简单的接口。

Hadoop为大数据分析带来便利的同时，也面临着一些挑战：

1、Hadoop 的扩展受限

NameNode是HDFS中的管理者，主要负责文件系统的命名空间、集群配置信息和数据块的复制等。NameNode在内存中保存文件系统中每个文件和每个数据块的引用关系，也就是元数据。

在运行时，HDFS中每个文件、目录和数据块的元数据信息（大约150字节）必须存储在NameNode的内存中。根据Cloudera的描述，默认情况下，会