DuckDB 内嵌分析：ABP 的「本地 OL盘快照」

DuckDB 内嵌分析：ABP 的「本地 OL盘快照」🚀

---

---

1）为什么是本地快照？🎯

当查询以短查询为主、对成本与离线/弱网可用有强诉求，把报表数据“侧写”到进程内分析引擎更合适。DuckDB 是内嵌的列式分析数据库，支持读/写 Parquet（含过滤、投影下推），部署近零运维，特别契合“本地 OLAP 快照”。

2）总体架构与并发约束 🧩

总体架构

• 写侧：OLTP（PostgreSQL/SQL Server/…）→ 变更视图/水位表 → SnapshotWorker（ABP） → .duckdb 与/或分区 Parquet。
• 读侧：ABP 应用服务 → DuckDB.NET/ODBC → 聚合&明细；或直接扫 Parquet（免导入）。
• 云存储：INSTALL/LOAD httpfs 访问 S3（读/写/通配） 与 HTTP(S)（只读）；用 CREATE SECRET 管理凭据。
• 并发模型（硬约束）：DuckDB 仅支持单进程读写和多进程只读两种模式。写入集中在单进程，其它进程通过只读连接共享库文件。

架构总览（写侧→读侧→对象存储）

并发模式（必须遵守）

3）数据建模与分层 🏗️

• 星型/雪花：fact_* + dim_*，列中包含 tenant_id。

• 层次：snapshot_*（可查询最新）、staging_*（增量暂存）、_watermark(source, last_ts, last_seq)（增量边界）。

• 分区快照（Parquet）：建议采用 Hive 风格路径（tenant=…/date=…），读取时 hive_partitioning=true 自动派生分区列；多文件/异构 schema 读取时启用 union_by_name。

  • ⚠️ union_by_name 仅按列名对齐；若同名列类型不一致会报错，需在读取侧显式 CAST 或先离线标准化后再合并。