构建【Kafka → 物化视图 → 分区表】 的实时数仓链路

构建 Kafka → 物化视图 → 分区表 的实时数仓链路，是 ClickHouse 在现代数据架构中的经典应用模式。它实现了从实时数据摄入、自动转换到高效存储与查询的完整闭环，广泛应用于日志分析、用户行为、监控系统等场景。

本篇将带你一步步构建一个生产级的实时数仓链路，并附上最佳实践和性能优化建议。

---

🎯 一、目标架构

[Kafka] 
   │ (实时事件流)
   ↓
[Kafka Engine Table] → 消费消息（入口）
   │
   ↓
[Materialized View] → 数据清洗、转换、路由
   │
   ↓
[Partitioned MergeTree Table] → 按时间分区存储（主事实表）
   │
   ↓
[查询 & 分析] → 支持高效聚合、下钻、报表

✅ 核心优势：

• 实时性：秒级延迟
• 高吞吐：支持百万级 QPS 写入
• 高效查询：分区裁剪 + 稀疏索引
• 可扩展：易于对接 BI、Grafana

---

🧰 二、环境准备

组件	要求
ClickHouse	≥ v21.8（推荐最新 LTS）
Kafka	≥ v2.0，集群可用
数据格式	推荐 JSONEachRow 或 Protobuf
网络	ClickHouse 能访问 Kafka 集群
资源	建议 SSD + 16GB+ 内存

---

📦 三、步骤 1：创建 Kafka 引擎表（数据入口）

这个表是 Kafka 消息的“桥梁”，不存储数据，仅用于消费。

CREATE TABLE kafka_user_behavior (
    user_id UInt32,
    event_type String,
    page_url String,
    device_type String,
    os String,
    browser String,
    ip String,
    event_time DateTime
) ENGINE = Kafka
SETTINGS 
    kafka_broker_list = 'kafka1:9092,kafka2:9092,kafka3:9092',
    kafka_topic_list = 'user-behavior-topic',
    kafka_group_name = 'ch-consumer-group-v1',
    kafka_format = 'JSONEachRow',
    kafka_num_consumers = 4,
    kafka_row_delimiter = '\n';

✅ 示例消息：

{"user_id":1001,"event_type":"click","page_url":"/home","device_type":"mobile","os":"iOS","browser":"Safari","ip":"192.168.1.100","event_time":"2024-04-01 10:00:00"}

---

🧩 四、步骤 2：创建分区目标表（主事实表）

这是你的核心数据仓库表，使用 MergeTree 并按时间分区。

CREATE TABLE fact_user_behavior (
    user_id UInt32,
    event_type String,
    page_url String,
    device_type String,
    os String,
    browser String,
    ip String,
    city String DEFAULT 'Unknown',  -- 可后续填充
    event_date Date DEFAULT toDate(event_time),
    event_time DateTime
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_date)  -- 按月分区
ORDER BY (event_date, event_type, user_id)
TTL event_date + INTERVAL 180 DAY  -- 180 天后自动删除
SETTINGS 
    index_granularity = 8192;

✅ 设计要点：

• PARTITION BY toYYYYMM(event_date)：便于按月管理
• ORDER BY 包含常用过滤字段（event_date, event_type）
• TTL 自动清理过期数据
• event_date 从 event_time 自动提取

---

🚀 五、步骤 3：创建物化视图（实时 ETL 管道）

物化视图监听 Kafka 表，自动将数据写入分区表。

CREATE MATERIALIZED VIEW mv_kafka_to_fact
TO fact_user_behavior
AS SELECT
    user_id,
    event_type,
    page_url,
    device_type,
    os,
    browser,
    ip,
    'Unknown' AS city,  -- 可后续通过字典填充
    toDate(event_time) AS event_date,
    event_time
FROM kafka_user_behavior;

✅ 效果：

• 每条 Kafka 消息触发一次写入
• 数据自动按月分区存储
• 支持后续扩展（如字段映射、默认值、函数计算）

---

🔁 六、工作流程详解

1. 数据流动

生产者 → Kafka → kafka_user_behavior → mv_kafka_to_fact → fact_user_behavior

2. 分区写入

• event_time = '2024-04-01' → 写入 202404 分区
• event_time = '2024-05-15' → 写入 202405 分区

3. 后台合并

• ClickHouse 自动合并小 Parts 成大 Parts
• 提升查询性能，减少碎片

---

📊 七、典型查询示例

1. 按天统计 PV/UV

SELECT 
    event_date,
    event_type,
    COUNT(*) AS pv,
    COUNT(DISTINCT user_id) AS uv
FROM fact_user_behavior
WHERE event_date = '2024-04-01'
GROUP BY event_date, event_type
ORDER BY pv DESC;

2. 用户行为路径分析

SELECT 
    page_url,
    COUNT(*) AS visits
FROM fact_user_behavior
WHERE event_date >= '2024-04-01'
  AND event_type = 'pageview'
GROUP BY page_url
ORDER BY visits DESC
LIMIT 20;

3. 设备分布

SELECT 
    device_type,
    os,
    COUNT(*) AS cnt
FROM fact_user_behavior
WHERE event_date = today()
GROUP BY device_type, os;

✅ 所有查询自动利用：

• 分区裁剪（只查相关月）
• 稀疏索引（快速跳过无关数据块）
• 列式存储（只读所需列）

---

⚙️ 八、高级扩展（可选）

1. 添加 IP → 城市映射（使用字典）

-- 创建字典（略）
-- 在物化视图中填充 city
CREATE OR REPLACE MATERIALIZED VIEW mv_kafka_to_fact
TO fact_user_behavior
AS SELECT
    *,
    dictGet('ip_city_dict', 'city', tuple(IPv4StringToNum(ip))) AS city
FROM kafka_user_behavior;

2. 预聚合（提升查询性能）

-- 创建聚合表
CREATE TABLE agg_daily_behavior ENGINE = SummingMergeTree()
ORDER BY (event_date, event_type)
AS SELECT
    toDate(event_time) AS event_date,
    event_type,
    count(*) AS pv
FROM fact_user_behavior
GROUP BY event_date, event_type;

配合物化视图自动更新。

3. 多层级存储（热冷分离）

TTL event_date + INTERVAL 7 DAY TO DISK 'ssd',
     event_date + INTERVAL 90 DAY TO DISK 'hdd',
     event_date + INTERVAL 180 DAY DELETE;

---

📈 九、性能优化建议

优化项	建议
Kafka 写入批次	每批 > 1000 条，减少网络开销
物化视图逻辑	尽量简单，避免复杂计算
分区粒度	按月（推荐），避免过多分区
ORDER BY 设计	将高频过滤字段放前面
监控 Kafka 消费	system.kafka_consumers 查延迟
合并策略	监控 system.parts 和 system.merges

---

🔍 十、监控与运维

1. 查看 Kafka 消费状态

SELECT 
    topic,
    partition,
    latest_offset,
    consumer_lag
FROM system.kafka_consumers;

2. 查看数据分区

SELECT 
    partition,
    name,
    rows,
    bytes_on_disk
FROM system.parts 
WHERE table = 'fact_user_behavior';

3. 查看慢查询

SELECT 
    query,
    query_duration_ms,
    read_rows,
    read_bytes
FROM system.query_log
WHERE event_date = today()
  AND query LIKE '%fact_user_behavior%'
ORDER BY query_duration_ms DESC
LIMIT 10;

---

🎯 十一、总结：Kafka → MV → 分区表的核心价值

阶段	技术	价值
实时摄入	Kafka Engine	高吞吐、解耦、可靠
自动处理	Materialized View	实时 ETL，无需外部调度
高效存储	Partitioned MergeTree	查询快、易管理、支持 TTL
分析服务	SQL 查询	支持复杂聚合、BI 集成

🎯 这是 ClickHouse 实时数仓的“标准范式”，具备：

• 实时性：秒级延迟
• 可维护性：纯 SQL 构建，无需复杂代码
• 可扩展性：支持 PB 级数据
• 低成本：自动化 TTL、冷热分层