20、实时数据处理与分析：用例、决策与实践

实时数据处理与分析：用例、决策与实践

1. 实时数据处理用例

1.1 零售用例：实时摄取

在零售场景中，假设一家公司既有实体店又有在线商店。旧的实体店销售点（POS）系统每天只能以 CSV 文件形式提供一次销售数据，而在线商店能在每次交易发生时即时提供数据。网站访客点击“购买”按钮后几秒内，这些交易数据就可用于分析。

在此场景下，原本需要两个仪表盘：一个用于实体店，数据每天更新一次；另一个用于在线商店，数据全天实时更新。将线下和线上商店的数据合并在一个仪表盘上会造成混乱，因为实体店数据每天到达一次，而在线商店数据则持续不断地传输。

POS 升级前的情况

• 在线销售交易数据实时流式传输到快速存储，并实时传递到云数据仓库，同时实时数据也会存档到慢速存储。
• 实体店 POS 系统的数据每天摄取一次到存储中，经过处理后传递到云数据仓库。
• 两个数据源的数据都可在数据仓库中获取，但由于传递时间不同，需要两个单独的仪表盘。

下面是 POS 升级前的数据处理流程 mermaid 图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    Web(在线销售):::process -->|实时流式传输| FastStorage(快速存储):::process
    POS(实体店 POS 系统):::process -->|每天摄取| Storage(存储):