12、数据处理与分析：Spark SQL及相关操作

数据处理与分析：Spark SQL及相关操作

1. 连接外部数据源

1.1 连接Azure Cosmos DB

要通过 azure - cosmosdb - spark 连接到Azure Cosmos DB并创建Spark DataFrame，可以按照以下步骤操作：
1. 配置读取参数：

readConfig = {
  "Collection" : "[COLLECTION]",
  "SamplingRatio" : "1.0",
  "schema_samplesize" : "1000",
  "query_pagesize" : "2147483647",
  "query_custom" : query
}

2. 读取数据：

df = (spark
  .read
  .format("com.microsoft.azure.cosmosdb.spark")
  .options(**readConfig)
  .load())

3. 统计航班数量：

df.count()

4. 配置写入参数：