48、使用Databricks Auto Loader进行模式演变

使用Databricks Auto Loader进行模式演变

1. 模式演变的概念

模式演变（Schema Evolution）是指在数据流处理过程中，随着数据源模式的变化，自动更新目标数据表的模式。这对于处理动态数据源非常重要，尤其是当数据源模式频繁变化时。模式演变确保了数据处理管道在面对模式变化时仍能稳定运行，而无需手动干预。这在实际应用中可以大大提高开发和维护的效率，减少因模式变化导致的数据处理问题。

2. Databricks Auto Loader的模式演变支持

Databricks Auto Loader（AL）通过模式演变模式（Schema Evolution Mode）自动合并新列，并更新模式版本。新模式JSON将被更新并存储在指定的模式存储库位置。默认情况下，AL在检测到模式变化时会通过动态模式推断（Dynamic Schema Inference）来处理这些变化。如果新列出现，AL会自动将这些列添加到现有模式中。注意：对于已经处理过的数据，这些新列的值将是NULL。

动态模式推断

AL动态地搜索数据集的样本以确定嵌套结构。这避免了昂贵且缓慢的全数据集扫描来推断模式。以下配置可用于调整在读取时用于发现初始模式的样本数据量：

1. spark.databricks.cloudFiles.schemaInference.sampleSize.numBytes （默认值为50 GB）
2. spark.databricks.cloudFiles.schemaInference.sampleSize.numFiles