MatrixOne Git4Data 技术详解(十一)·大模型篇:SFT 数据 curation——可审计、可复现的数据清洗

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

前十篇里,我们把 MatrixOne 的 Git4Data 能力从概念一路带到了 AI 训练现场:前四篇建立技术坐标,第五到第七篇是数据运维(误操作救援、多人协作、Write-Audit-Publish),第八、九篇讲传统机器学习(全流程总图、数据集发布与泄漏),第十篇转向深度学习的文件型数据,让 lakeFS 管文件、MatrixOne 管元数据。

这一篇进入大模型。具体说,是大模型训练里最讲究、也最依赖人工判断的一步:SFT(Supervised Fine-Tuning,监督微调)的数据 curation。

先说清楚它在整条链路里的位置。一个大模型通常要经过三段:预训练(在海量文本上学语言和世界知识)、SFT(用高质量的「指令 → 回答」样本,教会它按人的期望回话)、偏好对齐(RLHF / DPO 等,让它在多个像样的回答里挑更好的那个)。SFT 是承上启下的一段,而且数据量比预训练小好几个数量级:预训练动辄几万亿 token,而在公开披露的实践里,OpenAI 的 InstructGPT 用的人工示范集约 1.3 万条,LIMA 更是只用 1,000 条精选样本就做出了可用的对齐效果(见文末参考资料)。当然这不是一个跨模型都成立的定值,不同团队的 SFT 集从几千到上百万条都有。

正因为量小,每一条的质量、每一次的取舍,都会直接印在模型行为上。而这些取舍,几乎全是人在做决定:这批合成数据留不留?这个来源的数据质量掉了要不要下架?code 和 chat 的比例调成多少?质量分的门槛卡在 0.35 还是 0.50?

这一篇先把 SFT 数据的完整链路过一遍、说清 Git4Data 这套能力在每个环节能帮上什么,再把一次完整的 curation 从头到尾做一遍:数据池长什么样、要用哪几步过滤、每一步怎么留下审计记录、最后怎么发布成一个可复现的版本,以及业内其他做法各自卡在哪。文中 SQL 全部在 MatrixOne 4.1.0 上实测;可跑版本见 git4data-tutorial 的 11-sft-curation/sft_curation_demo.sql(已固定到具体 commit,避免后续改动导致数字对不上)。


先看全貌:一条 SFT 数据要走完的八个环节

在钻进任何一个细节之前,先把整条链路摊开。一批 SFT 数据从进入团队到真正被模型吃掉,要走完这些环节:

① 获取 ──▶ ② 入池 ──▶ ③ 打分 ──▶ ④ curation ──▶ ⑤ 配比 ──▶ ⑥ 发布 ──▶ ⑦ 训练 ──▶ ⑧ 评估
                          ▲                                                              │
                          └──────────────  加数据 / 调门槛 / 换配比  ◀───────────────────┘

① 获取:从供应商采购、用模型合成、组织人工撰写、或从线上日志里挖掘。不同渠道的质量参差极大,还常常买到同一批数据。

② 入池:把不同来源、不同格式的数据统一成一张表,打上来源和批次标记。这里第一个坑就出现了——新批次如果直接写进主池,一旦有问题,脏数据立刻和几十万条好数据混在一起。

③ 打分:用打分模型或启发式规则给每条数据打质量分,用安全分类器标记风险。注意打分模型本身也有版本,同一条数据在不同时间可能得到不同分数。

④ curation(清洗过滤):去重、卡质量门、过滤不安全内容、剔除和评测集重合的、保证多轮对话完整。这是整条链路里删得最多、也最不透明的一环。

⑤ 配比:决定各 domain、各来源、各语种的比例。这是一次显式的建模决策,却常常没有被记录下来。

⑥ 发布:把筛好的数据冻结成一个确定的版本,交给训练。问题在于训练读的是"当时的池子",而池子一直在变。

⑦ 训练 → ⑧ 评估:拿到指标后回头调整——补数据、调门槛、换配比——回到 ③④⑤ 再来一轮。而这一轮和上一轮的数据到底差在哪,往往没人说得清。

在这里插入图片描述

这八个环节里,哪些是数据版本控制的地盘

需要先划清楚:③ 打分是打分模型的地盘,⑤ 配比是建模策略的地盘,⑦⑧ 是训练框架和评估体系的地盘。Git4Data 这套能力不碰这些判断,它管的是另一层——数据在这条链路上怎么进来、怎么被改动、怎么被冻成一个版本:

环节真实问题MatrixOne 的 Git4Data 能力怎么帮
② 入池新批次质量未知,又不能污染主池新数据先进分支,审计通过再 MERGE,主池全程不动
③ 打分打分模型换版本,分数会变打分结果连同数据一起进快照,"这一版用的是哪一版分数"可查
④ curation删了什么、为什么删、能不能撤,全说不清在分支上过滤,每步先计数,DATA BRANCH DIFF 给出这一轮的净变更
⑤ 配比配比是决策,却没有留痕发布前用 SQL 直接统计配比;规则写进注册表随版本冻结
⑥ 发布训练读的池子一直在变库级 CREATE SNAPSHOT 冻结版本,日后逐位复现
⑧ 迭代两版模型的数据差异归因不到行两个快照做 DIFF,差异精确到具体哪些行、被哪一步删的
任意环节出错改坏了退不回去RESTORE 回到任意一个历史版本

一句话概括这张表:SQL 负责判断数据合不合格,Git4Data 这套能力负责给这些判断提供隔离的工作区、稳定的版本锚点和可审计的变更记录。

本文接下来聚焦分量最重的 ④ curation,并把 ②、⑤、⑥ 串起来走一遍完整流程。


SFT 数据的特殊之处:数据回到了数据库的主场

第十篇里,图像训练数据不得不劈成两个世界:文件交给 lakeFS,元数据交给 MatrixOne。因为一张 JPEG 没有行、没有列,数据库拿它没办法。

SFT 数据不一样。一条 SFT 样本长这样:

{"instruction": "解释一下什么是数据库快照", "response": "快照是数据库在某个时刻的...", "domain": "chat"}

它是文本,但高度结构化:instruction 一列、response 一列,外加来源、语种、领域、质量分、安全标记、长度……整条样本,包括正文本身,都能直接住进一张表里。几十万条记录、每条几百到几千字符,对数据库来说完全是舒适区。

这意味着 SFT 的 curation 有一个第十篇没有的好处:不需要“文件 + 元数据”两个世界的对齐,所有操作都在同一张表上,用 SQL 完成,并且天然被行级版本语义覆盖。

而 SFT curation 的动作,恰好全是行级的增删改:

去掉重复的样本            = DELETE 一批行
砍掉质量不达标的           = DELETE 一批行
剔除和评测集重合的         = DELETE 一批行
下架某个来源的数据         = DELETE 一批行
调整领域配比              = 有选择地 DELETE / 保留
修正某些回答              = UPDATE 一批行

每一步过滤都是一次行级变更——这正是 Git4Data 这套能力最擅长的东西。于是整篇文章的主张可以先摆出来:

SFT curation 不该是一串跑完就没影的脚本,而应该是一次「在分支上做完、用 DIFF 留下审计记录、按固定顺序发布成一个冻结版本」的受控变更。


为什么 curation 必须可审计

先看一个几乎每个大模型团队都遇到过的场景。

模型 sft-v7 上线后,团队发现它在代码题上明显不如 sft-v6——但两版之间训练代码没动、超参没动,只是数据「按惯例清洗了一遍」。于是问题变成:这轮清洗到底删了什么?

如果 curation 是一串 Python 脚本跑完就完事,你能拿到的通常只有:清洗前 73 万条、清洗后 60 万条。中间少的那 13 万条是什么,谁也说不清——是去重删的?是质量分门槛卡掉的?还是某个 domain 被整体误删了?想复现 sft-v6 那一版数据集,更是无从下手,因为原始池这个月又进了新数据。

这就是「可审计」的意义。curation 的每一步过滤都应该能回答三个问题:

  1. 删了多少、删了哪些(可审计);
  2. 为什么删(规则可查);
  3. 这一版能不能原样复现(可回溯)。

下面就用一个完整的案例,把这三件事都落实。


贯穿全文的案例:给一个对话模型做一轮 SFT 数据 curation

假设我们在维护一个通用对话模型的 SFT 数据池。数据来自三个渠道:采购的供应商数据、模型合成的数据、人工撰写的数据;覆盖 code / math / chat / safety 四个领域;既有单轮样本,也有多轮对话。

数据池就是一张表——注意正文(instruction / response)就在表里,旁边是所有用来做取舍的字段:

CREATE TABLE sft_records (
    record_id     BIGINT PRIMARY KEY,
    conv_id       BIGINT,          -- 多轮对话:同一个 conv_id 下有多行
    turn_no       INT,             -- 对话内的第几轮
    instruction   VARCHAR(512),
    response      VARCHAR(1024),
    norm_hash     VARCHAR(64),     -- 归一化后 instruction 的哈希(近重复键)
    exact_hash    VARCHAR(64),     -- instruction+response 的哈希(精确去重键)
    domain        VARCHAR(24),     -- code / math / chat / safety
    source        VARCHAR(32),     -- 供应商 / 合成 / 人工
    lang          VARCHAR(8),
    resp_len      INT,
    quality_score DOUBLE,          -- 打分模型或启发式规则给的质量分
    is_safe       TINYINT,         -- 1 = 通过安全分类器
    ingest_batch  VARCHAR(32)
);

两个 hash 列值得解释一下,它们对应两种不同的去重方式:

  • exact_hash:instruction + response 一起算哈希,抓的是完全一样的样本——同一条数据被两个供应商都卖给你了,或者同一批数据被导入了两次。
  • norm_hash:只对 instruction 做归一化(统一大小写、去掉多余标点和空白)后算哈希,抓的是问题其实是同一个、但回答不同的近重复——合成数据里这类特别多,同一个 prompt 被反复采样出好几个版本。

案例的池子:60000 条单轮样本 + 4000 条精确重复 + 3000 条近重复 + 2000 组三轮对话(6000 行),另有 800 条回答被截断成空串,以及 150 组多轮对话里第 2 轮被截断——实测共 73,000 行。


在分支上做 curation:六步过滤,每步先计数

关键的第一步:不要在数据池主表上直接删。先拉一条分支,整轮 curation 都在分支上做——主池一行不动,随时可以对照、可以丢弃重来。这就是第七篇 Write-Audit-Publish 的思路,用在 curation 上:

DATA BRANCH CREATE TABLE sft_curated FROM sft_records;

分支是零拷贝的(第三篇讲过原理),所以哪怕池子有几百万条,这一步也是毫秒级、不产生数据副本。

第一步:精确去重

同一条「指令 + 回答」在池子里出现多次,训练时会让模型对这条样本过度拟合。按 exact_hash 分组,每组只留 record_id 最小的一条:

-- 先看要删多少
SELECT COUNT(*) AS exact_dup_rows FROM sft_curated c
WHERE c.record_id > (SELECT MIN(c2.record_id) FROM sft_curated c2
                     WHERE c2.exact_hash = c.exact_hash);
--   实测 4000

DELETE FROM sft_curated
WHERE record_id > (SELECT MIN(c2.record_id) FROM sft_curated c2
                   WHERE c2.exact_hash = sft_curated.exact_hash);

第二步:近重复去重

比精确重复更隐蔽、也更常见:同一个问题,被合成了好几个不同的回答。它们的 exact_hash 各不相同,但归一化后的 norm_hash 是一样的。留哪一条是个策略问题(这里取 record_id 最小;实践中更常见的是留质量分最高的那条):

SELECT COUNT(*) AS near_dup_rows FROM sft_curated c
WHERE c.record_id > (SELECT MIN(c2.record_id) FROM sft_curated c2
                     WHERE c2.norm_hash = c.norm_hash);
--   实测 3000

DELETE FROM sft_curated
WHERE record_id > (SELECT MIN(c2.record_id) FROM sft_curated c2
                   WHERE c2.norm_hash = sft_curated.norm_hash);

要说清楚边界:norm_hash 只能抓「归一化后完全相同」的近重复。语义相同但措辞不同的那一类(「什么是快照」vs「快照是什么意思」),哈希抓不到,需要向量相似度或 MinHash/SimHash 这类方法——它们能算出候选对,但最终「删哪条、留哪条」仍然是一次行级删除,照样走这里的流程。

第三步:质量门

空回答、被截断的生成、打分模型给出的低分样本,都要挡在训练之外:

SELECT COUNT(*) AS low_quality FROM sft_curated
WHERE resp_len < 10 OR quality_score < 0.35;
--   实测 5184

DELETE FROM sft_curated WHERE resp_len < 10 OR quality_score < 0.35;

注意这里的门槛(长度 10、质量分 0.35)是这次 curation 的一个决策,不是自然规律。它必须被记录下来——后面发布时会写进 curation 规则里,因为下一版很可能会调整它(本文最后就会调到 0.50)。

第四步:安全过滤

被安全分类器标记为不安全的样本直接剔除:

SELECT COUNT(*) AS unsafe FROM sft_curated WHERE is_safe = 0;   -- 实测 101
DELETE FROM sft_curated WHERE is_safe = 0;

第五步:评测集去污染

这是大模型 curation 里最要命的一步。如果评测基准里的题目混进了 SFT 训练集,模型是背下了答案,而不是学会了能力——所有 benchmark 分数都会虚高,而且你不会收到任何报错。做法是拿评测集的 prompt 哈希做反连接:

SELECT COUNT(*) AS contaminated FROM sft_curated c
WHERE EXISTS (SELECT 1 FROM eval_prompts e WHERE e.norm_hash = c.norm_hash);
--   实测 744

DELETE FROM sft_curated
WHERE EXISTS (SELECT 1 FROM eval_prompts e WHERE e.norm_hash = sft_curated.norm_hash);

和第十篇一样要诚实说明:这条反连接匹配的是归一化后完全相同的 prompt。改写过、翻译过、换了表述的污染样本它抓不到——那需要在评测集上再建一层语义相似度检索。哈希去污染是底线,不是全部。

第六步:多轮对话完整性

这一步是 SFT 特有的,也是最容易被脚本漏掉的。多轮对话必须整体进、整体出:如果第 2 轮因为回答被截断而在第三步里被删了,只剩第 1、3 轮的对话是残缺且有害的——模型会学到跳跃、不连贯的对话结构。

所以在所有过滤之后,要再扫一遍:哪些 conv_id 的轮次不完整了,整组删掉:

SELECT COUNT(*) AS broken_conv_rows FROM sft_curated c
WHERE c.conv_id IN (
  SELECT conv_id FROM sft_curated GROUP BY conv_id HAVING COUNT(*) < MAX(turn_no)
);
--   实测 300(150 组对话,各自被删掉一轮后还剩两轮)

DELETE FROM sft_curated WHERE conv_id IN (
  SELECT conv_id FROM (
    SELECT conv_id FROM sft_curated GROUP BY conv_id HAVING COUNT(*) < MAX(turn_no)
  ) t
);

这就是为什么 curation 的顺序很重要:完整性检查必须放在所有过滤之后,因为它要清理的正是前面几步造成的连带损伤。

六步过后:实测 73,000 → 59,671 行。

请添加图片描述


审计记录:净变更由 DIFF 出具,删除原因由流程留痕

整轮 curation 做完,最重要的动作来了——留下这一轮的审计记录:

DATA BRANCH DIFF sft_curated AGAINST sft_records OUTPUT SUMMARY;
--   实测 INSERTED 0 / DELETED 13329 / UPDATED 0

13329 这个数字不是估算,它就是六步之和:4000 + 3000 + 5184 + 101 + 744 + 300 = 13329。主池一行没动,而这一轮的全部影响被压缩成一行摘要。

这里要把话说准:OUTPUT SUMMARY 给出的是这条分支相对主池的净变更(INSERTED / DELETED / UPDATED),不是逐行的删除原因。表里并没有「这一行是被安全过滤删的」这种字段,DIFF 也不可能凭空知道。按原因归类的能力来自流程本身——每一步先 COUNT 再 DELETE,那六个数字就是六个原因的分账,加起来恰好等于 DIFF 的总数。如果需要更强的追溯,有两条路:在每一步之后各留一次 DIFF,让每个过滤步骤都有自己的净变更数字;或者在删除之前,先把命中行的主键连同 (step, reason) 写进一张 curation 日志表。注册表里的 curate_rule 记的是规则,不是逐行的判决书。

所以这一节能确定的是三件事:主池一行没动;这一轮的净影响是一个可查的确定数字;规则和数字都会跟着版本一起冻住。

数据本来就在表里,发布之前还可以随手追问细节——比如这一版的配比:

-- 发布前先看一眼配比:领域和来源的比例,本身就是一次 curation 决策
SELECT domain, COUNT(*) AS n,
       ROUND(100.0 * COUNT(*) / (SELECT COUNT(*) FROM sft_curated), 1) AS pct
FROM sft_curated GROUP BY domain ORDER BY domain;
--   实测 chat 18896 (31.7%) / code 13247 (22.2%) / math 13764 (23.1%) / safety 13764 (23.1%)

SELECT source, COUNT(*) AS n FROM sft_curated GROUP BY source ORDER BY source;
--   实测 human_written 23591 / synthetic_gpt 18040 / vendor_a 18040

两组数字都合计 59,671,和上面 DIFF 之后剩下的行数对得上——发布前顺手做一次这样的对账,能挡住绝大多数「表里数字和实际版本不是一回事」的问题。

这两条查询还点出了一个容易被忽略的事实:配比也是 curation 的一部分。chat 占到 31.7% 而 code 只有 22.2%,是不是符合这次训练的目标?合成数据(synthetic_gpt)占了三成,比例是否过高?这些判断没有标准答案,但它们必须在发布之前被看到——而不是训练完拿到一个奇怪的模型再回头猜。


发布:先登记、再替换、后快照

审计通过,才轮到发布。这里有两个细节值得强调。

第一,登记要在快照之前。 我们要把「这一版数据集 = 哪个快照 + 用了什么 curation 规则」记成一条可查的绑定。顺序必须是先写注册表、再打快照——否则绑定只躺在可变的活库里,没被冻进版本:

CREATE TABLE dataset_registry (
    dataset_version   VARCHAR(32) PRIMARY KEY,
    metadata_snapshot VARCHAR(64),
    n_records         BIGINT,
    curate_rule       VARCHAR(256)
);

-- 先登记(快照名提前定好,所以这行可以写上它)
INSERT INTO dataset_registry
SELECT 'sft_v1', 'sft_v1', COUNT(*),
       'exact+near dedup, len>=10, score>=0.35, safe only, eval-decontam, whole-conv'
FROM sft_curated;

注意 curate_rule 这一列:它把「这一版是按什么规则筛出来的」变成了数据的一部分。三个月后有人问「v1 的质量分门槛是多少」,不用去翻脚本仓库的 git log,一条 SELECT 就够了。

第二,替换和冻结是一串有先后的语句,不是一个事务。 用 curation 后的分支替换主池,再打快照冻住整个版本:

DROP TABLE sft_records;
ALTER TABLE sft_curated RENAME TO sft_records;   -- 用 curation 后的池子替换主池
CREATE SNAPSHOT sft_v1 FOR DATABASE sft_pool;

-- 绑定现在在快照里了,不只是活库里
SELECT n_records FROM dataset_registry {SNAPSHOT='sft_v1'} WHERE dataset_version = 'sft_v1';
--   实测 59671

这里要诚实说明一点:这三条语句之间没有原子性。在 4.1.0 上它们各自独立提交,中间任何一条失败,前面已经生效的不会自动回退——比如 DROP 成功而 RENAME 失败,主池就会暂时处于不存在的状态。所以发布这一步的正确做法是:先对当前主池打一个快照作为回退点,再按上面的顺序执行,每一步确认成功后再走下一步,失败时用 RESTORE 退回上一版。

换句话说,这套流程给你的保证不是「一条命令要么全成要么全不成」,而是发布顺序是确定的、每一步的结果是可验证的、任何一版都有可回退的锚点。真正被冻住、能逐位复现的是最后那个 CREATE SNAPSHOT 的结果——在它成功之前,这一版都不算发布完成。


下一轮:v2 的审计记录,和 v1 的可复现

几周后,团队决定收紧质量门槛——从 0.35 提到 0.50。同样的流程再走一遍,而这一次,DIFF 直接告诉你这个决策的代价:

DATA BRANCH CREATE TABLE sft_v2_wip FROM sft_records;
DELETE FROM sft_v2_wip WHERE quality_score < 0.50;

DATA BRANCH DIFF sft_v2_wip AGAINST sft_records OUTPUT SUMMARY;
--   实测 DELETED 12514
SELECT COUNT(*) AS v2_rows FROM sft_v2_wip;   -- 实测 47157

一个门槛从 0.35 调到 0.50,代价是再砍掉 12,514 条、数据集从 59,671 降到 47,157——少了 21%。这个数字应该在训练之前就摆到桌面上讨论,而不是训练完发现模型变笨了再去猜。

与此同时,v1 始终原样可查:

SELECT COUNT(*) AS v1_rows FROM sft_records {SNAPSHOT='sft_v1'};   -- 实测 59671

于是「sft-v7 在代码题上掉点」这个开头的问题,现在有了可执行的排查路径:把 v7 用的数据快照和 v6 的 DIFF 一下,看 code 域少了哪些行、是被哪一步删的。模型的退步,第一次能落到具体的数据变更上。


行业里的其他做法:SFT curation 一般怎么管,各自卡在哪

把 SFT curation 做成「可审计、可复现、可回退」的版本化流程,业内有几种常见路径,各自解决了一部分:

做法一:一串 Python 清洗脚本 + 落一个新文件。 最普遍。clean_v3.py 跑完输出 sft_train_v3.jsonl。优点是灵活;代价是结果和过程都不可查——你有一个 60 万行的文件,但没有「删了哪 13,329 条、分别因为什么」的记录;想复现上一版,得指望脚本和原始池都没变过。

做法二:脚本 + 把每一步的中间产物都存下来。 有纪律的团队会这么做:step1_dedup.jsonl、step2_quality.jsonl……确实能回溯了,代价是每一步一份全量副本(N 倍存储),而且比对两个版本要写额外的脚本,不能直接 JOIN 或聚合。

做法三:HuggingFace Datasets + 版本化到 Hub。 数据集有了 revision(Hub 上每个仓库就是一个 git 仓库,可以按 commit 取到确定的一版),社区生态也好。但在这条工作流里,可回溯的粒度是数据集的 revision:它能告诉你 v3 和 v2 不是同一份,要说清「哪 300 行是因为多轮残缺被删的」,得靠你在脚本里自己另外记录;筛选逻辑也仍在外部脚本里。

做法四:DVC / lakeFS 等数据版本工具。 能把 JSONL 文件钉成可回到的版本,这点很扎实。但它们看到的是文件:diff 是文件级或对象级的,而 SFT curation 的语义全是行级的;而且数据在文件里,做一次「按 domain 统计配比」还得先读回来。

做法五:数据仓库(Spark / BigQuery 等)里跑 curation。 用 SQL 做筛选,这一步和本文思路是一致的,也是大团队常见的做法。差别在于版本语义:Spark 表要留住每一版通常靠「写到一张带日期后缀的新表」或 Delta/Iceberg 的表版本;行级的 branch / diff / merge 不是原生语义,「在分支上试一轮 curation,不行就丢掉」这件事要自己拼装。

放进一张表里。先说清这张表的范围:它比较的是上面列出的这几种典型工作流的默认路径,不是对相关产品全部能力的评价——各家的能力边界以官方文档为准(见文末参考资料),表里标「否」的格子,多数都能靠额外的工程手段补上,代价是你得自己拼装和维护。

做法行级审计记录(删了哪些)筛选逻辑在哪版本可复现试错成本额外副本
Python 脚本 + 输出文件无脚本靠自觉重跑全流程每版一份
脚本 + 存中间产物半(靠比对文件)脚本是重跑N 倍
HF Datasets + Hub否(数据集级)外部脚本是重新上传每版一份
DVC / lakeFS否(文件级)外部脚本是重跑内容去重后较省
数仓 SQL(Spark 等)否(表版本级)SQL ✅是建新表每版一张表
MatrixOne(Git4Data 能力)是(DATA BRANCH DIFF)SQL ✅是(快照)零拷贝分支,丢弃即可无

一句话:就本文列出的这几条路径而言,要么把筛选逻辑锁在脚本里、结果只剩一个文件(脚本类),要么能版本化却看不到行级语义(文件版本工具),要么能用 SQL 筛却没有原生的分支 / 行级 diff(数仓)。MatrixOne 的不同在于这三件事在同一张表上同时成立:curation 用 SQL 写、在零拷贝分支上试、净变更由 DATA BRANCH DIFF 出具、通过后按固定顺序替换主池并打快照冻结。


边界与适用范围

  • Git4Data 这套能力不替你判断质量。 质量分从哪来(打分模型、规则、人工)、门槛卡在哪、配比怎么定,都是你的决策。它保证的是:这些决策作用在确定的数据版本上、结果可审计、做错了能退回。

  • 哈希去重和哈希去污染都是底线,不是全部。 语义级的近重复和改写过的污染样本,需要向量检索或 MinHash 这类方法先算出候选;但候选算出来之后的「删哪些行」,仍然回到本文这套行级流程。

  • 多轮对话的完整性要显式检查。 它不会自己成立,而且必须放在所有过滤之后——本文实测的那 300 行就是前面几步的连带损伤。

  • 快照有保留成本。 每个上线模型对应的 sft_vN 建议长期保留,废弃的中间试验版本要设清理策略,否则历史版本会一直占着存储。

  • curation 规则要跟着版本走。 把门槛、规则写进注册表(本文的 curate_rule 列),比写在某个脚本的注释里可靠得多。

  • 发布这一步不是一条原子命令。 DROP / RENAME / CREATE SNAPSHOT 各自独立提交,要靠「先打回退快照 + 每步校验」来保证发布过程可控。


参考资料


结语

SFT 的数据量比预训练小好几个数量级,而每一条样本对模型行为的影响却直接得多。正因如此,curation 的每一次取舍都会印在模型行为上——而这些取舍,长期以来是整条链路上最不透明的一环:一串脚本跑完,池子小了一大截,至于删了什么、为什么删、能不能退回,全靠人的记忆和纪律。

把它换成「分支上做、每一步先计数、DIFF 出具净变更、按固定顺序发布、快照冻结」之后,这一环就变成了和代码评审一样可控的东西:73,000 → 59,671,中间那 13,329 条分别属于哪一步,一条 SQL 就能对上账;把门槛从 0.35 提到 0.50 要付出 21% 的数据量,这个代价在训练开始之前就摆在桌面上;而任何一个历史版本,随时可以逐位复原。

📎 可运行 SQL(固定 commit 354b9cf):github.com/matrixorigin/git4data-tutorial | 源码与社区:github.com/matrixorigin/matrixone

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统 船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。 阅读详情

相关推荐

AI 应用开发:四维架构落地实战——以 HR Agent 为例拆解感知·推理·记忆·执行【意图路由、规划编排、长期记忆、工具执行、面试题】

本文基于四维架构(感知·推理·记忆·执行),以HR Agent为例,系统拆解大模型应用从“聊天”到“生产可用”的落地路径。通过Spring AI实现意图路由、规划编排、RAG检索与工具调用,结合真实踩坑复盘,揭示架构化设计对安全、成本与可维护性的关键价值,为AI Agent工程化提供可复用的实战框架。

王大师企业官方博客 1320

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 338

探索robotics-toolbox-python:从基础安装到高级机器人运动学应用

本文详细介绍了robotics-toolbox-python工具箱,从基础安装、环境配置到机器人运动学与动力学的核心应用。通过D-H参数、URDF导入和内置模型三种方式快速构建机器人模型,并演示了正逆运动学计算、关节空间与任务空间轨迹规划以及三维可视化仿真。该工具箱极大地简化了机器人算法开发流程,是进行机器人学研究和应用实践的强大工具。

i1j2k的博客 497

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 614

解锁微信小程序Camera组件的隐藏技能:连续扫码背后的逻辑与陷阱

本文深入解析微信小程序Camera组件在连续扫码功能中的技术原理与优化方案,涵盖识别率提升、内存管理策略及典型问题排查。通过实战参数对比和代码示例,帮助开发者解决扫码枪应用中的性能损耗与界面卡顿问题,提升零售、物流等场景的工作效率。

weixin_29019241的博客 495

手把手教你理解ARM SoC中的PPU:电源管理IP的配置与实战避坑指南

本文深入解析ARM SoC中的PPU(Power Policy Unit)电源管理IP,提供详细的配置指南与实战避坑技巧。从PPU基础架构、寄存器配置到与PCSM的协同工作,全面介绍如何优化电源管理策略,解决常见配置误区,并分享高级调试与性能优化方法,助力工程师提升低功耗SoC设计效率。

weixin_28693447的博客 482

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 276

BOM 数据模型设计

字段名数据类型必填说明物料编码 (Part Number)字符串是唯一标识,主键。建议包含分类前缀(如STD-GEN-CUS-物料名称 (Part Name)字符串是版本 (Revision)字符串是如AB1.0,与编码组合构成唯一实例。状态 (Status)枚举是设计中(Draft)已发布(Released)已归档(Archived)已作废(Obsoleted)类型 (Type)枚举是专用件(Custom)借用件(Borrowed)通用件(Generic)标准件(Standard)

Davina_yu的博客 1762

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 207

UWB学习——day4

总的来说,BPM-BPSK调制方案是一种利用脉冲位置和相位来编码信息的高效数字调制技术,特别适用于UWB通信系统,以实现高速数据传输和频谱效率。这种方式将时间和相位综合使用,从而提高了数据传输的容量。总之,超外差结构是一种接收器设计,通过将不同频率的信号转换到一个共同的中间频率来提高信号选择性和抗干扰性。超外差结构是一种用于接收器的电子电路设计,它的目标是从无线信号中提取有用的信息,比如音频、数据或图像。该芯片的接收机是超外差结构,所谓超外差结构一种基于频率转换的接收器架构,旨在提高信号选择性和抗干扰性。

许帅的博客 2558

AutoDock Vina 对接计算(大批量)

AutoDock Vina是一种用于计算生物分子之间相互作用的计算工具,主要用于蛋白质和小分子(通常是潜在药物分子)之间的对接研究。它可以用于虚拟筛选、药物设计和生物分子结合位点的预测等多个应用领域。

MurphyStar的博客 1万+

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 340

【项目实战】自动化测试软件VectorCAST介绍

VectorCAST是一款先进的自动化测试软件。VectorCAST是一款功能强大、易于使用的自动化测试软件。VectorCAST适用于各种嵌入式系统的测试。VectorCAST为嵌入式系统的测试提供了一种高效、可靠的解决方案。VectorCAST提供了一整套完整的测试工具,包括测试管理、代码覆盖、缺陷定位、报告生成等,以帮助开发人员提高测试效率,确保软件质量。VectorCAST支持。

奶爸的编程之路,也就一周冷个三天 2013

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 349

DMA engine initialization failed rk3568的原因及解决方案

刚开始调试 switch 芯片的时候由于rgmii 时钟是output , rk3568的 GMAC 需要 switch 芯片提供 125M的时钟,如果没有这个时钟就会初始化失败,进入文件系统后 ethx 不会出现(当然,如果屏蔽掉这里ethx 会出现,但是引发更多的问题,笔者在这块耍小聪明,导致耗费了近一个月时间,把网络这块整个查了一遍 -----)dma 软复位是在进入文件系统后,网络系统启动的时候,我想如果在这个之前只要提供合适的时钟那么就是可以的,那么------以上是官方的文档说明。

Nyiragongo的博客 4577

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 84

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

从设备增点到治理闭环:老旧小区物业数智化落地实践

系统连接合同审批、银行流水、收费记录与项目台账,执行到期提醒、收入核验、异常标色和月度对账,让每一笔资金来源明确、去向可查。针对设施老旧、诉求响应慢、公共收益不透明等问题,津南以6类小区为试点场景,统一建设物业数字化底座,关联楼栋、单元、房屋、业主、空间、设施设备、工单、公共收益等核心数据。系统采用统一编码管理,将摄像头、路灯、井盖、道路、绿化等设施纳入资产台账,解决纸质记录更新滞后、故障责任难追溯的问题。基于历史工单建立分类模型和知识库,辅助识别照明、给排水、电梯、环境秩序、秩序维护等问题;

wuyeshuzhihua的博客 159

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

企业微信iPad协议详解:接口接入、实时消息同步与语音转码实践

深入解析企业微信iPad协议的技术架构与开发思路,涵盖API接口接入、长连接通信、实时消息同步、Silk语音转码、异常重连及高并发优化,帮助开发者了解企业微信自动化系统的设计与实现。

欢迎来到祖安! 511

Product Hunt 热榜 2026-11-13:Plurai Simulation、YouArt Desktop App、Omnigraph

2026-11-13 Product Hunt 新产品精选:Plurai Simulation、YouArt Desktop App、Omnigraph。汇总 15 款产品的中文介绍、功能关键词和产品链接。

LaughingZhu的博客 615

【AI Agent面试系列】AI Agent可观测、评测、安全相关的知识点

之前的文章介绍了和,本文主要介绍AI Agent的测评、可观测等知识。

405

Docling 原理解读:是什么、为什么、怎么样

从论文视角拆解 Docling 的整体架构、DoclingDocument 数据模型、PDF 预处理、版面分析、OCR、TableFormer 双解码器、阅读顺序与装配流程,并解释版面框与 OCR 框的区别。

PLANTTHESON的博客 401

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程,跟着博主一起来还原整个过程。

夜郎King的博客 5156

从认识人工智能到理解机器学习:我的 AI 入门第一课

正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。上午的课程更偏向行业全景:人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。下午的课程更偏向技术基础:机器学习的原理、有监督学习、深度学习、模型训练和评估方法。

chh563的博客 564

企业宣传片发前如何批量排查并遮挡视频里的敏感信息

做企业视频的人都会碰到一个具体问题:实拍画面里混进了不该出现的信息。办公室背景里有贴着客户信息的白板,采访对象的授权书边缘露出一串身份证号码,街采素材里路人面孔和车牌号直接入镜。人眼在时间线上扫视,会漏掉快速闪过的帧、画面边缘的小字、以及暗光区域里的证件号码。用抹影AI完成车牌、人脸和证件区域批量检测后,又手动补充了两个时间段的屏幕遮罩,最终导出时画面已无合规隐患。重点关注快速运动、遮挡、低光照条件下的目标,这些是漏检的高发区域。导入视频后选择要检测的目标类型(人脸、车牌、证件号、二维码等)。

Mysssone的博客 181

面向工业对讲的双通道声学 DSP 模组 A-59(NR2050-A)方案解析与工程落地案例

A-59模组以NR2050-A DSP为核心,37.5×16mm邮票孔封装,支持-40℃~85℃工业温域,兼容A-06/A-09/A-29系列,可低成本替换存量设备。通过固件切换实现三种模式:模式一(低改版成本,适配矿井、电梯);模式二(最优AEC,用于医院呼叫);模式三(双波束独立输出,支持双人会议语音分离)。集成AEC、ENC、BF与AGC算法,有效抑制回声、噪声与串扰,解决对讲系统核心声学难题。选型需注意参考信号路径、麦间距与温度匹配,建议先做声学测试再量产。

R190_6589的博客 372

SAP商业AI正式通过网信备案:企业落地AI五问

中数通“CDC商业AI”通过广东网信部门备案,标志着SAP商业AI在华本地化迈出关键一步。然而,合规仅是起点,企业真正需关注的是:AI能否融入核心流程、数据治理是否健全、责任归属是否清晰、价值衡量机制是否建立。从“可用”到“用好”,关键在于工作流重构、跨团队协同与业务结果导向的评估体系。国产模型成本优势与本地部署能力为ERP深度集成提供可能,但真正的竞争力仍在于对数据、流程与业务上下文的理解力。

Acloudear的博客 214
上一篇: 喜报丨矩阵起源荣获2026深圳市“潜在独角兽企业”称号
下一篇: 矩阵起源入选 2026 年度 Gartner® 数据管理领域最具创新力厂商
MatrixOrigin
博客等级 码龄5年 708粉丝 230原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值