数据湖定义

一 定义：

数据湖（Data Lake）是一个以原始格式存储数据的存储库或系统，它按原样存储数据，而无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）和二进制数据（如图形、音频、视频）。

数据湖是一个存储库，它允许存储大量的原始数据，也就是说，没有按照特定的模式进行准备、处理或操作的数据。

        数据湖的一个关键特征是不会拒绝任何数据，这意味着结构化格式和非结构化数据格式都可以存储。由于数据湖中的数据在从源获取时不受数据结构的约束，因此在需要时应用“读取”模式来促进数据分析。

二 特点

数据湖具有以下特点：

a) 容量大

数据湖汇 聚吸收各个业务数据源流，容纳散落在各处的数据，理论上，存储空间巨大。

b) 格式多

数据湖架构面向多数据源的信息存储，可以快 速高效地采集、存储、处理大量来源不同、格式不同 的原始数据，这其中包括文本、图片、视频、音频、网 页等各类无序的非结构化数据，能把不同种类的数 据汇聚存储在一起，并对汇聚后的数据进行管理， 建立数据之间的关联关系，具有很强的兼容性。

c) 处理速度快

数据湖技术能将各类原始数据快速转化为可 以直接提取的、分析、使用的标准格式，统一优化数 据结构并对数据进行分类存储，根据业务需求，对 存储的数据进行快速的查询、挖掘、关联和处理，并实时传输给末端用户。

d) 体系结构

由于Hadoop也能基于分布式文件系统来存储处理多类型数据，因此许多人认为Hadoop的工作机理就是数据湖的处理机制。当然，Hadoop基于其分布式、可横向扩展的文件系统架构，可以管理和处理海量数据，但是它无法提供数据湖所需要的复杂元数据管理功能，最直观的表现是，数据湖的体系结构表明数据湖是由多个组件构成的生态系统，而Hadoop仅仅提供了其中的部分组件功能。

湖仓一体

特性    数据仓库    数据湖
数据    来自事务系统、运营数据库和业务线应用程序的关系数据    
来自 IoT 设备、网站、移动应用程序、社交媒体和企业应用程序的非关系和关系数据

Schema    设计在数据仓库实施之前（写入型 Schema）    写入在分析时（读取型 Schema）
性价比    更快查询结果会带来较高存储成本    更快查询结果只需较低存储成本
数据质量    可作为重要事实依据的高度监管数据    任何可以或无法进行监管的数据（例如原始数据）
用户    业务分析师    
数据科学家、数据开发人员和业务分析师（使用监管数据）

分析    批处理报告、BI 和可视化    机器学习、预测分析、数据发现和分析