14、实时数据分析与可视化：从流数据处理到交互式探索

实时数据分析与可视化：从流数据处理到交互式探索

1. 流数据在 BigQuery 中的分析

在数据处理中，我们每 30 分钟计算一次 60 分钟的聚合数据。Cloud Dataflow 会将模拟开始 90 分钟后的窗口视为第一个“完整”窗口。由于模拟速度是实际速度的 30 倍，这在实际时钟上仅为 3 分钟。

程序启动 3 分钟后，第一组数据将进入 BigQuery。我们可以从 BigQuery 控制台查询特定机场的统计信息，示例代码如下：

#standardsql
SELECT
  *
FROM
  `flights.streaming_delays`
WHERE
  airport = 'DEN'
ORDER BY
  timestamp DESC

执行该查询后，我们可以看到时间戳大约每隔 30 分钟分布一次，平均延误是一小时内的平均值。例如，丹佛机场在 04:10 UTC 至 05:10 UTC 之间有 45 个航班，平均出发延误为 17 分钟。

若要获取所有机场的最新数据，可使用以下查询：

#standardsql
SELECT
  airport,
  arr_delay,
  dep_delay,
  timestamp,
  latitude,
  longitude,
  num_flights
FROM
  `flights.streaming_delays`
WHERE
  ABS(TIMESTAMP_DIFF(timestamp,
      (
      SELECT