12、探索 Azure Databricks 中的结构化流处理与 Python 库安装

探索 Azure Databricks 中的结构化流处理与 Python 库安装

1. 结构化流处理简介

结构化流处理在处理不同来源的数据流时具有重要作用。不过，在实际应用中，可能会遇到一些限制。例如，在处理数据集时，如果数据集中的文件数量较少，当所有文件都被处理完后，表将不会再有更新。

当我们完成对结构化流处理的查询后，可以通过以下两种方式停止在后台运行的查询：
- 点击查询所在单元格中的“Cancel”链接。
- 执行 query.stop() 函数，示例代码如下：

query.stop()

无论使用哪种方式，查询运行所在单元格的状态都会更新为“TERMINATED”。

结构化流处理具有多种特性，在 Azure Databricks 中处理不同来源的数据流时，我们可以充分利用这些特性。这些数据源包括来自 Azure Event Hubs 的数据、使用 Delta 表作为流数据源的数据、通过 Auto Loader 管理文件检测的数据、从 Apache Kafka 读取的数据、使用 Avro 格式文件的数据等。同时，结构化流处理在处理数据流时还提供了容错功能，我们还可以使用 display 函数来可视化这些数据流。最后，我们通过一个模拟 JSON 文件到达存储的示例进行了总结。

2. 在 Azure Databricks 中使用 Python 库

2.1 概述

Azure Databricks 支持多种编程语言，但