微软如何打造数字零售力航母系列科普11 - 什么是Microsoft Fabric中的数据工程？

什么是Microsoft Fabric中的数据工程？

目录

1. Lakehouse(湖边小屋)

2. Apache Spark Job Definition (作业定义)

3. Notebook(笔记本)

4. Data Pipeline (数据管道)

Microsoft Fabric中的数据工程使用户能够设计、构建和维护基础架构和系统，使其组织能够收集、存储、处理和分析大量数据。

Microsoft Fabric提供了各种数据工程功能，以确保您的数据易于访问、组织良好且具有高质量。从数据工程主页，您可以：

1. 使用lakehouse创建和管理您的数据

2. 设计管道，将数据复制到你的湖边小屋

3. 使用Spark作业定义向Spark集群提交批处理/流式作业

4. 使用笔记本编写用于数据接收、准备和转换的代码

（显示数据工程对象的屏幕截图）

一、Lakehouse (湖边小屋)

Lakehouses是一种数据架构，允许组织在一个位置存储和管理结构化和非结构化数据，使用各种工具和框架来处理和分析这些数据。这些工具和框架可以包括基于SQL的查询和分析，以及机器学习和其他高级分析技术。