3、深入探索 Azure Databricks：数据管理、计算管理与权限控制

深入探索 Azure Databricks：数据管理、计算管理与权限控制

1. 数据管理

在 Azure Databricks 中，数据管理是进行分析、创建 ETL 管道、训练机器学习算法等操作的基础。以下是数据管理的主要方面：
- SQL 代码格式化 ：Azure Databricks 具备在笔记本单元格中格式化 SQL 代码的功能，可减少代码格式化时间，并确保所有笔记本遵循相同的编码标准。操作步骤为：在单元格上下文菜单中选择自动格式化选项，此功能仅适用于 SQL 代码单元格。
- 数据库和表 ：
- 数据库由表组成，表是结构化数据的集合。用户可以使用 Apache Spark DataFrames 支持的所有操作处理这些表，并使用 Spark API 和 Spark SQL 查询表。
- 表分为全局表和本地表，全局表存储在 Hive 元存储中，本地表则不然。表可以使用 DBFS 中的文件或所有支持的数据源中的数据进行填充。
- 查看数据库和表 ：
- 点击侧边栏中的数据图标按钮，可查看当前使用的集群相关的表。“数据库”文件夹将显示每个所选数据库中的表列表。
- 用户可以点击“数据库”文件夹顶部的下拉图标，选择不同的集群。
- 导入数据 ：
- 可以使用 UI 将本地文件上传到 Azure Databricks 文件系统，也可以将数据导入 Azure Databricks DBFS 并存储在 FileStore 中。操作步骤为：前往“上传数据”UI，选择要上传的文件以及 DBFS