ETL基本概念

1.ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂

2.数据管理：数据探查、数据集成、数据质量、元数据管理、数据屏蔽

3.数据仓库：是一个功能概念，将企业的各业务系统产生的基础数据，通过维度建模的方式将业务数据划分为多个主题（集市）统一存储，统一管理。

4.数据湖：

数据湖定位于数据采集、汇聚和存储环节，是公用数据集和分析型应用的源头。狭义数据湖仅是对应“存储”这个环节，广义数据湖则对应“入湖、存储、出湖”三个环节：

• 数据汇聚，接入多源异构数据源，扩展新型大数据和流式数据采集能力，统一监控运行状态。可存储非结构化、半结构化和结构化数据，这也是跟数据仓库存储的区别。
• 数据标注，引入人工智能技术，实现元数据的自动化标注，提升到数据资产管理。
• 数据分发，提供一站式数据服务，从数据发现、准备到提取，实现按需提供、即取即用。

数据湖有以下特点：

• 从源系统导入所有的数据，没有数据流失，即数据湖的核心原则是集中存储原始的、未经改变的全量数据。
• 数据存储时没有经过转换或只是简单的处理。
• 数据转换和定义schema 用于满足分析需求。

5.数据湖与数据仓库的区别

6.数据集市：一种“小型数据仓库”，它只包含单个主题，且关注范围也非全局。

数据集市数据来自数据仓库，当用户或者应用程序不需要/不必要/不允许用到整个数据仓库的数据时，数据集市就可以简单为用户提供一个数据仓库的子集。

数据集市是一个结构概念，它是企业级数据仓库的一个子集，主要面向部门级业务，并且只面向某个特定的主题。

应用场景：