16. Doris 系列第16篇：深挖 MOW 致命坑｜Unique Key 写入炸裂、版本爆炸根源、链路剖析+应急根治方案

承接第14篇Compaction、15篇MOW基础原理，破除「MOW=版本少」误区；直击生产高发：MOW比MOR更容易触发500版本写入拒绝，拆解底层病根、还原三大爆炸场景、给全架构优化+配置+脚本+双模型混合落地策略

一、颠覆固有认知：MOW 真的能杜绝版本爆炸？

1.1 全网通用误区 & 生产真相

✅ 大众固有理解：

• MOR 读时合并、堆多版本 → 极易版本爆炸
• MOW 写入时合并、清旧数据 → 版本天然可控

❌ 生产真实现状：
高频更新/热点单行改/大小文件混写场景下，MOW 版本堆积速度＞MOR，更快撞 500 硬性阈值、直接锁死写入
核心诱因：DeleteBitmap 机制拉高合并开销、形成「写入加速→合并拖慢→版本雪崩」死循环

1.2 底层关键定性

不管MOR还是MOW：
👉 一个 Rowset = 一个版本
MOW 只是用位图标记旧数据作废，不会自动回收版本计数；位图依赖还会卡死Compaction收敛效率

二、MOW 版本爆炸：底层核心原理深扒

2.1 MOW 最小存储单元结构（版本计数关键）

Rowset N
├── Segment 实体数据文件
└── DeleteBitmap 作废标记位图

核心：
MOR：单纯数据Rowset
MOW：数据+位图绑定Rowset，但照样一条Rowset占一个版本名额

2.2 三大核心病根（版本爆炸元凶）

病根1：强写入放大，更新必增新版本

• MOR：1次更新=追加1条Rowset，无额外标记开销
• MOW：1次更新=新增1条Rowset + 旧Rowset打位图标记 + 更新主键索引
  👉 同等更新量，版本新增数量一致，但MOW后期回收极慢

举例：10万行全行更新

• MOR：初始1 + 更新10万 = 100001版本
• MOW：初始1 + 更新10万 = 100001版本
  版本基数完全持平，差距全在合并回收效率

病根2：MOW Compaction 效率腰斩（致命短板）

• MOR合并：纯数据拼接、简单归并，IO&CPU轻量
• MOW合并：必须同步解析/重写/归档DeleteBitmap，还要校验主键依赖
  👉 实测同等数据量：
  MOR合并耗时30s → MOW合并耗时90s（2~3倍开销）
  直接导致：写入产生版本速度 > Compaction回收版本速度

病根3：位图依赖链，强制串行合并、无法跳级

连续更新同一主键100次：

V1→V2→V3→…→V100
每一代都依赖上一代Bitmap标记

硬性限制：

1. 不能跳过老版本直接合并中间版本
2. 必须从最旧版本开始串行消化
3. 一旦出现超大Base Rowset，整个合并队列直接卡死
   结果：新版本疯狂堆、老版本啃不动，版本数直线冲500

三、三大经典生产爆炸场景（百分百踩中）

场景1：热点单行高频更新（库存/余额/秒杀）

业务：千个热门SKU，每秒千次库存扣减

CREATE TABLE inventory_mow (
    sku_id BIGINT,
    stock INT,
    update_time DATETIME
) UNIQUE KEY(sku_id)
DISTRIBUTED BY HASH(sku_id) BUCKETS 10
PROPERTIES ("enable_unique_key_merge_on_write" = "true");

-- 循环单行扣减
UPDATE inventory_mow SET stock = stock - 1 WHERE sku_id = 10001;

爆炸全过程：

1. 每次扣减生成1条仅1行的极小Rowset
2. 海量微型Rowset堆叠
3. MOW合并啃不动海量小位图
4. 版本线性暴涨 → 几秒直达500 → 写入拒绝

实测：每秒新增800个版本，几分钟直接封表

场景2：大基数全量导入 + 零星小更新

业务：日亿级订单全量落库 + 实时改状态

• Rowset1：亿级大文件（10GB+Base底）
• Rowset2~N：每次几十行微小更新
  卡死逻辑：

1. Compaction不敢动超大Base底（重写成本爆炸）
2. 零散小更新Rowset持续堆积
3. 大小文件无法混并，版本只增不减

场景3：多MOW表并发，合并资源打满

• 多张MOW高频更新表共用mow_compaction_threads
• 专用线程池耗尽后，所有表合并集体积压
• 弱优先级表直接版本放飞

四、底层技术深挖：为什么MOW回收永远跟不上？

4.1 DeleteBitmap 三重写入放大

每次更新隐性开销：

1. 读取旧Bitmap
2. 修改标记、落地新Bitmap
3. 同步刷新主键索引
   对比：MOW一次更新 = MOR三次写入开销

4.2 小文件黑洞

MOR小更新可被合并收敛；
MOW单次单行更新必生成独立Rowset+独立Bitmap，小文件越堆越多，IO寻址爆炸

4.3 串行依赖锁死合并吞吐量

链式依赖→无法并行跳合并→老底不消化，新版堆成山

五、全套根治方案：架构+配置+写入+监控+应急

方案1：业务层打散热点 + 强制攒批（最有效）

① 热点主键打散

-- 错误：单热点key扎堆一个Bucket
UNIQUE KEY(sku_id)

-- 正确：加分片字段拆分热点
UNIQUE KEY(sku_id, bucket_no)
DISTRIBUTED BY HASH(bucket_no) BUCKETS 100;

② 杜绝单行UPDATE，统一攒批

Python伪代码标准落地：

update_buffer = []
# 攒1000~5000条再一次性StreamLoad
if len(update_buffer) >= 2000:
    batch_stream_load(update_buffer)
    update_buffer.clear()

核心：把万次单行更新→几十次批量导入，直接砍爆版本生成速度

方案2：BE内核配置激进调优（加速MOW合并）

# 拉高MOW专属合并线程，隔离通用Compaction
mow_compaction_threads = 20
# 全局合并线程扩容
max_compaction_threads = 32
# 降低累加合并触发门槛，早合并、勤合并
cumulative_compaction_num_cumulative_rowsets = 2
# 限制单次合并文件大小，避免大文件卡死队列
cumulative_compaction_max_output_size = 2147483648

方案3：表级MOW激进收敛

ALTER TABLE hot_mow SET (
    "enable_mow_compaction" = "true",
    "mow_compaction_threshold" = "2",  -- 累计2轮更新就触发合并
    "compaction_policy" = "size_based"
);

方案4：前置缓冲架构（彻底隔离高频写入）

标准链路：
业务→Kafka→Flink窗口攒批→Doris批量落库

• Flink开1~5分钟滚动窗口
• 只保留每条主键最新状态
• 往Doris灌大批次，杜绝零碎小Rowset

方案5：精细化分区，拆分版本压力

按小时/按天分区分割：

1. 热点更新只在当日分区
2. 历史分区低峰期统一Full Compaction
3. 单个分区版本爆炸不影响全表

方案6：全链路监控 + 自动熔断自救

核心排查SQL

-- 看MOW表版本暴涨
SELECT table_name,tablet_id,version_count
FROM information_schema.tablets 
WHERE enable_mow = true AND version_count>400;

-- 监控Bitmap膨胀
SELECT table_name,SUM(delete_bitmap_size)/1024/1024 as bitmap_mb
FROM information_schema.tablets
WHERE enable_mow = true
GROUP BY table_name HAVING bitmap_mb>1024;

自动应急脚本

阈值触发自动下发COMPACT，450版本紧急干预、400提前兜底

六、MOR vs MOW 风险对照表（选型直接抄）

业务场景	MOR风险	MOW风险	最优选择
批量导入+少量更新	低	低	按需选
均匀高频更新	中	高	MOR
热点单行扣减/秒杀	极高	爆炸级	坚决MOR+攒批
大底+零散小改	中	高	MOR兜底
多表并发更新	中	高	冷热分离
读多写少、强实时	中	低	MOW

七、企业级混合架构（终极落地）

热数据（高频改）→ MOR表抗写入
冷数据（查为主）→ MOW表保性能
定时离线同步：MOR冷数据归档至MOW

既扛住写入不炸版本，又保住查询极致性能

八、上线Checklist（规避99%版本爆炸）

✅ 建表：分区+打散热点+合理分桶
✅ 写入：禁用单行UPDATE，全量攒批StreamLoad
✅ 配置：拉高MOW专属线程、降低合并触发阈值
✅ 监控：版本>400告警、Bitmap>1G告警
✅ 运维：低峰期定时Full Compaction
❌ 严禁：热点主键直更、零碎小更新裸跑MOW