- 博客(242)
- 收藏
- 关注
RSS订阅原创 中期训练和强化学习各做什么？读懂SWE-2 Flash的训练过程
文章解析Cognition发布SWE-2 Flash的训练流程，强调区分“中期训练”与“强化学习”两个阶段：前者优化数据组合与训练顺序，提升模型对知识的吸收效率；后者通过任务多样性与反馈机制改进行为表现。指出不能仅凭最终成绩倒推各阶段贡献，因缺乏独立对照实验。提醒读者注意参数概念混淆、权重未公开、评测结果依赖整体方案等问题，倡导理性解读模型进展，避免因果误判。
2026-11-06 18:04:04
39
原创 模型训练分数很高，为什么学到的却是捷径？
模型在训练中可能依赖捷径（如胸腔引流管）而非真实病变，导致实际应用时失效。研究揭示：高准确率不等于正确推理，需检验模型使用何种线索。通过机制分析与约束训练（如reliance/expression shaping），可减少对错误线索的依赖，但需多指标评估任务能力与副作用。数据筛选不足或测试集未打破捷径，仍可能导致误判。关键在于：分数提升后，应追问“模型如何达成”，并验证其行为路径是否合规。
2026-11-06 18:03:10
40
原创 为什么安全评测里的模型表现，和实际使用时不一样？
模型评测分数不能直接预示上线表现，因评测与真实场景在任务理解、约束处理和测试条件上存在差异。OpenAI研究发现，模型在生产环境中的安全成功率比评测高出10.2至37.4个百分点，源于评测定义狭窄、上下文理解偏差及测试目标误判。评测成功不等于业务完成，且模型行为受提示目标影响显著。训练验证需控制变量、区分数据来源、分析失败原因，并在真实环境中持续验证，避免将“分数提升”误认为能力增强。
2026-11-04 18:05:25
178
原创 改提示词、加Skill和后训练，到底有什么区别？
给AI增加一份Skill文件以后，它更会按要求做事，这算把模型训练好了吗？判断的第一步，是看有没有更新模型参数。提示词和Skill通常改变本次执行所能看到的指令、资料和流程。模型据此产生不同回答，但它的权重可以完全没有变化。后训练则是在已有模型的基础上，通过训练过程继续更新参数。11月3日，OpenHands介绍了与Snowflake配合开展代理后训练的方案。这个案例恰好把几件容易混淆的事情放在同一个工作流里，可以用来说明，配置代理、采集执行过程和训练模型各自做了什么。
2026-11-04 18:04:45
147
原创 第一次微调，学习率、批大小和训练轮次到底控制什么？
初次微调常误将学习率、批大小与轮次当作可照搬的“标准参数”。实则三者相互影响：学习率决定更新幅度，批大小通过梯度累积影响有效样本量，轮次则反映数据重复使用程度。有效批量、更新次数与处理token数才是关键指标。应固定模型、数据与评估方式，系统记录实际训练条件，结合验证表现与任务目标判断效果。训练损失下降不等于任务提升，需警惕过拟合与能力退化。真正有效的微调，是基于可解释的实验设计，而非盲目填参。
2026-11-03 18:05:11
140
原创 大模型之外再训练一个小模型：读懂OpenAI的激活分类器
本文介绍OpenAI在GPT-5.6中引入的“激活分类器”（probe）技术，通过分析大模型内部激活信号实现风险内容实时检测。该方法不需重训练大模型，而是基于中间层特征训练轻量分类器，结合标签定义、数据隔离与独立评估，构建可复现的安全防御链路。强调标签质量、数据分组、阈值权衡与版本维护的重要性，提醒入门者：真正的训练在于清晰的任务设计与系统化流程，而非盲目复现。
2026-11-03 18:04:37
234
原创 模型训练完，怎样判断它真的学会了？从Figma公开的评测方法讲起
训练模型不能仅凭loss下降或输出更“像样”就交付。应拆解“看起来不错”的模糊评价，聚焦目标任务是否真正完成：检查结构可解析性、请求履行度、内容保留、布局影响等维度，设计具体评估卡，区分“改对了”与“没改错”。测试集需覆盖普通题与高难度场景，保留回归题，避免掩盖退化。比较训练前后须保持条件一致，综合评估成功率、重试次数、人工修正与成本。核心是：先定义“完成”，再逐项验证，而非依赖单一指标或照搬他人案例。
2026-11-02 17:53:20
667
原创 第一次做模型微调，怎样把一份资料整理成合格的训练样本？
手上有一份文档，能不能直接拿去微调？技术上可能存在可接收整段文字的训练方式，但如果你的目标是让模型按要求回答问题，一份文档通常还不等于一组能教会目标行为的样本。资料记录的是知识和规则，训练样本还要展示：用户给出什么条件，模型应该依据什么，输出怎样的答案，缺少信息时又该怎么办。准备数据的第一步，是把这几个问题说清楚。Hugging Face的TRL文档说明，SFT Trainer支持语言建模与提示—补全等任务形式，也支持纯文本和结构化对话格式。
2026-11-02 17:50:17
544
原创 从漏洞线索到修复验证：安全模型训练数据如何留证
安全任务训练数据不应仅保留“一问一答”的结论，而需构建四层可追溯记录：任务上下文、原始材料、生成过程与验证结果。证据链缺失时应标记“信息不足”，失败样本也应保留以训练模型识别边界。脱敏需保护数据关系，避免误删关键上下文。最终数据须通过五项验收：证据可查、授权合规、修复匹配、数据隔离、可回溯。唯有如此，模型才能真正学会在证据充分时判断，在不确定时停步。
2026-10-29 17:43:49
332
原创 AI发现漏洞以后，如何把一次成功变成可复现的安全测试流程？
AI在安全研究中可有效辅助漏洞发现，如OpenAI与NASK合作揭示MikroTik漏洞。但其价值不在于直接“自动攻破”，而在于构建可落地的五阶段流程：线索、待复现、已确认、已修复、已验证。需固定评测条件、隔离复现环境、严格区分状态证据，避免模型越权或误报。评分应关注误报率、关键遗漏与人工介入次数。唯有通过授权、隔离、复现、验证等环节的闭环流程，才能实现安全自动化可控落地，真正降低风险。
2026-10-29 17:43:03
230
原创 模型训练完为什么还要做评测？从真实工作任务看模型验收
模型榜单高分不代表可直接交付，真实任务需人工检查。Epoch AI评测显示，即使顶级模型在实际工作中仅完成约65%的评分条目。原因在于真实任务隐含要求多，如信息密度、风格一致性、工具调用等，且评测设置本身可能影响结果。训练与评测应分离，避免过拟合。初学者应建立验收流程：明确定义标准、使用多样化样本、保留独立测试集、拆解失败原因。蒸馏也需警惕“模仿表面”而非“掌握能力”。最终，关键不是分数，而是模型能否在新任务中按标准可靠完成工作。
2026-10-27 17:32:39
209
原创 从“删掉数据”到“学回来”：预训练数据过滤到底改变了什么？
英国AI安全研究所（AISI）实验表明，过滤预训练数据可削弱模型在特定领域（如病毒蛋白）的能力，但该能力可通过后续微调恢复，说明“删除训练数据”并非真正“遗忘”。模型能力依赖参数与数据模式的共同作用，而非单一数据条目。研究强调：数据治理需贯穿预训练、后训练与访问控制；评估应区分目标与保留能力；必须记录数据版本与过滤规则，并测试恢复可能性。这提醒我们，真正的“忘记”需综合多维度验证，而非仅看训练集删减。
2026-10-27 17:32:08
335
原创 AI找到漏洞，模型就学会安全研究了吗？先把蒸馏验收拆开
PHP 10月21日修复两个严重远程代码执行漏洞，凸显安全研究的复杂性。对模型蒸馏而言，关键在于将“发现能力”拆解为可验证的子任务：线索定位、复现检验、影响评估与修复建议。需设计分项评分机制，控制工具与环境条件，避免结果归因偏差。测试集应包含未公开样本与误报案例，确保泛化性。评分须基于证据而非表述气势，强调独立验证与多次运行可靠性。最终结论应具体、可证伪，明确学生在特定条件下表现如何，而非宣称具备专家能力。
2026-10-22 17:57:15
266
原创 安全蒸馏数据怎么留证据：从教师版本到修复验证
安全数据训练需超越简单问答，保留版本、环境、验证状态等证据链。建议分设输入、原始材料、教师输出与核验标签四类对象，确保判断可追溯。关键在于标记“信息不足”而非补全结论，区分修复各阶段状态，避免证据缺口。脱敏须谨慎，防止破坏上下文。高风险字段应强化核验，避免样本污染。数据版本与关联记录支持错误溯源，保障模型可修正性。
2026-10-22 17:56:25
675
原创 网页隐藏指令如何混入蒸馏样本？教师数据的溯源与对照检查
一条教师回答看起来事实正确，仍可能不适合进入学生模型的训练集。原因不一定是它编造了什么，也可能是它服从了网页作者写给另一个机器人的限制，漏掉了用户真正需要的信息。Redact在北京时间10月20日发布调查，称其此前检查的545个WhatsApp帮助页面中，80页包含隐藏AI文本，共102块。大部分是普通说明，争议集中在不推荐数据保护监管机构，以及用户提到律师或法律行动后不引用、解释部分隐私法律等限制。调查的更新说明称，10月18日复查时，这些隐藏文本已全部移除；
2026-10-21 17:43:46
168
原创 Agent蒸馏怎么验收？从DeepSeek的Agent成绩到学生模型的任务级测试
教师模型表现提升与学生模型损失下降，不足以证明蒸馏后Agent能有效执行任务。关键在于将验收从文本输出转向真实任务结果，通过独立环境测试验证其行为合规性、权限控制与最终交付。需设置三组对照（训练前/后学生、教师），并设计涵盖新场景的测试集，关注任务达标、规则遵守、人工介入等多维度指标。验收应基于可验证状态而非表面成功，避免误判。失败归因应区分模型缺陷与系统问题，确保评测闭环。最终，唯有在真实任务中稳定交付，才能判定蒸馏有效。
2026-10-21 17:43:11
222
原创 搜索 API 返回了结果，为什么学生模型还是会引用错？
搜索接口上线虽令人振奋，但真正挑战在于如何有效蒸馏工具调用过程。学生模型需学习的不仅是答案，更是查询生成、证据筛选与不确定性判断。训练数据应保留任务条件、查询词、候选结果及判断依据，避免仅传递最终答案。常见错误包括误引、误判失败、关键词滥用。验收应设计四类任务：资料充分、分散、矛盾及不足，以检验真实推理能力。唯有如此，模型才能从“会查”迈向“会思”。
2026-10-19 17:55:49
123
原创 模型名没变，教师已经变了：蒸馏数据如何应对 DeepSeek Flash 版本漂移
DeepSeek-V4.1-Flash-1017 更新虽未改调用方式，但模型行为可能已变化。文章强调：仅靠模型名无法追踪版本漂移，需分离记录服务版本、系统指令、工具定义等关键字段。版本更新可能影响答案风格、工具选择与错误分布，导致蒸馏数据失效。建议冻结旧数据、对比新旧教师表现、分类差异并建立独立回归集，避免将基准提升误判为学生收益。真正可靠的蒸馏项目应能回答“样本来源”“合格依据”和“能力保留”三问。
2026-10-19 17:55:16
139
原创 用自然语言找蒸馏样本，怎样避免漏掉工具报错？
LangSmith的AI Search虽支持自然语言检索智能体轨迹，但受限于8K token预算，关键工具结果可能被截断，影响对“模型忽略报错”等行为的准确判断。为确保训练数据可信，需先通过多条件查询构建候选池，再回溯原始轨迹核对时间顺序、工具状态与上下文关联，避免误标。应区分诊断过程与学习目标，保留证据链并脱敏敏感信息，同时评估召回率以防止遗漏复杂案例。最终训练样本须基于完整轨迹设计，确保标签可追溯，而非依赖搜索结果本身。
2026-10-14 17:57:31
173
原创 用自然语言找蒸馏样本，怎样避免漏掉工具报错？
LangSmith的AI Search虽支持自然语言检索智能体轨迹，但受限于8K token预算，关键工具结果可能被截断，影响对“忽略错误”等行为的准确判断。为确保训练数据质量，需分步处理：先用多条件查询构建候选池，再回溯完整轨迹核对证据，避免误标。标签应基于时间顺序与真实状态，区分重试、成功与虚报。还需检查日志完整性、脱敏一致性，并通过抽样验证召回率。最终训练样本应按任务分组、保留上下文，明确标注学习目标，确保可追溯、可验证。
2026-10-14 17:56:19
91
原创 AWS Priming 怎样用层级蒸馏，把 Transformer 改造成混合架构
Priming提出一种无需从头训练的模型架构转换方法，通过选择性替换Transformer层为状态空间模块，结合权重初始化与逐层蒸馏实现对齐。该方法不依赖完整蒸馏，强调局部结构适配与端到端优化，兼顾效率与性能。实验证明其在长上下文任务中接近原模型表现，推理速度提升显著。但需注意：模型压缩非必然目标，效果受任务类型、替换策略与训练投入影响，复现时应严格对照训练成本、推理性能与任务多样性，避免误读加速收益。
2026-10-13 18:08:13
146
原创 模型会调用工具，不等于学会了工具边界：蒸馏数据要补哪几类样本？
本文提出一种面向表单代理训练的数据设计方法，主张将“成功提交”从评价标准中移除，转而以“允许的状态迁移”为核心标签。通过五类样本（授权对照、动作歧义、环境失效、结果未知、正当执行）区分合法与越权行为，强调基于可观测状态而非文本解释进行标注。训练中需保留教师轨迹审计信息，评测时拆分能力与阻断效果，并将停止位置与执行器联动，确保权限控制可验证。最终目标是实现对模型行动边界的精准蒸馏，避免因终点误导导致越权学习。
2026-10-13 18:07:10
185
原创 把大模型写出的代码蒸馏给小模型，最容易丢掉什么？
代码蒸馏不仅需复制源码，更需保留上下文、失败信息、测试意图与取舍关系。数据集应包含任务、环境、失败样本与验证方式，以确保学生模型理解行为约束而非仅复现代码。评测应聚焦运行结果与系统稳定性，而非文本相似度。只有在新模块、异常输入和旧功能不退化的情况下仍能正确工作，才算真正迁移了软件能力。
2026-10-12 18:02:24
161
原创 AI 生成了软件代码，为什么还不能证明它学会了软件架构？
Brandon Thomas 利用 Claude Opus 5.5 开发七款 Adobe 产品开源替代品，以 Rust 实现，仍处早期。案例揭示：代码生成无法自动覆盖架构约束，如状态管理、错误回滚与模块边界。真正关键在于将架构假设转化为可验证测试——构建、模块、行为、回归四层验收缺一不可。蒸馏教学应包含接口契约、失败场景与版本演化压力测试，使学生模型不仅复现功能，更能持续适应变更。唯有如此，才能从“能跑的代码”迈向“可维护的系统”。
2026-10-12 18:01:09
140
原创 蒸馏目标选错，学生可能练会步骤，却没记住新事实
一篇2026年10月提交的预印本研究了on-policy蒸馏中两个关键设计：训练轨迹来源（教师示范或学生生成）与分布匹配目标（前向/反向KL）。实验表明，前者影响模型对错误路径的纠错能力，后者显著影响事实知识迁移——前向KL在事实回忆任务中表现远优于反向KL（如Qwen3-4B准确率从10.95%升至54.10%）。组合技能则受两者共同影响。研究强调需通过二乘二对照实验分离变量，注意计算预算、词表对齐与实现细节，并区分“推理能力”与“事实记忆”的独立验证。结论不具普适性，需结合具体任务与系统配置复现。
2026-10-09 17:35:53
171
原创 蒸馏后的学生模型会了新知识，还是只会把旧知识组合起来？
该论文通过受控实验分离“知识记忆”与“组合推理”能力，发现学生模型在教师蒸馏后能显著提升对已有知识的组织与调用能力（树结构测试准确率达79.10%），但事实迁移效果弱且不稳定（单步仅13.12%）。研究建议采用四格评测框架，区分事实来源与结构复杂度，避免混淆能力提升的真实原因。强调需报告详细设置，如训练前缀、分布匹配与中间步骤错误类型，以实现可复现的诊断性评估。
2026-10-09 17:35:05
217
原创 学生模型为什么会把“不知道”答成“看起来知道”
蒸馏中常见“伪知道”问题：模型模仿教师语气与结构，却缺乏真实证据支撑。需拆解回答为事实、证据、置信度与行动四层，通过反事实测试、实体替换、边界样本设计等手段暴露模仿失真。强调“证据覆盖率”检查，标注断言支持状态，分离语气与事实评估。修复路径应针对数据标注、上下文输入或训练目标，而非仅调参数。蒸馏核心是传递判断过程与边界意识，而非复制口吻。
2026-09-30 17:28:59
287
原创 如何设计“回答、追问、停答”三类蒸馏训练集
本文提出蒸馏项目应聚焦“何时不该答”，而非仅模仿教师模型的语气与格式。核心是构建三类样本：回答、追问、停答，并明确标注行为依据、证据片段与触发原因。强调数据需覆盖证据充分、冲突、过期等边界场景，建立独立验收集与反向检查机制，确保行为判定可追溯。验收以行为准确性为核心，而非文本相似度。最终目标是让学生模型学会在证据不足时合理追问或停答，真正掌握决策边界。
2026-09-30 17:28:28
331
原创 教师输出进入蒸馏训练前，版本闸门到底要拦什么
本文强调训练数据闸门需超越格式校验，聚焦规则时效性与业务合规。建议以状态+原因码双机制精准追踪样本处理逻辑，区分待核、隔离、重标、拒收等状态，确保问题可追溯、可统计。闸门应验证答案依据的有效性、适用范围及限制条件，杜绝“技术通过即放行”误区。通过绑定样本ID、规则版本与批次清单，实现数据可回溯、重训有据。最终目标是让版本闸门成为可审计、可复现的决策枢纽，而非形式化检查。
2026-09-29 17:31:22
176
原创 规则更新后，如何从蒸馏训练集中追查旧教师样本
排查错答应从保留完整上下文开始：原始问题、时间、学生版本、返回内容、输入条件及规则版本。无请求时间则无法判断适用规则，无输入则难辨是学错还是缺条件。需以source_id、生效区间与适用范围反查样本，避免仅按关键词搜索。旧教师输出若未随规则更新而淘汰，将导致模型学习过时答案。排查应逆向追踪从请求到训练集的完整链路，确保每条样本包含任务ID、资料版本、生成与审核时间等关键元数据。旧样本不应全删或全留，应分类处理并保留变更记录。测试须覆盖新规则、缺失条件、冲突资料等场景，防止近似样本污染评估。最终目标是建立可回
2026-09-29 17:30:49
201
原创 两个教师都能过验收，怎样把人工复核和重跑算进选型
本文强调数据生产成本核算应以“净合格交付”为分母，综合计算调用费与人工成本，避免仅看表面费用。指出人工时间需涵盖审核、查证等全过程，重跑费用应按实际计费，共享成本须合理分摊。强调账目透明、口径统一，确保比较公平，助力决策教师选型与预算规划。
2026-09-23 17:36:48
182
原创 同一批业务文案，怎样比较教师模型会不会改错金额和日期
通过并列对比不同教师模型对同一输入的输出，精准定位错误分布，聚焦事实保留能力（如金额、期限、条件），区分共同失败与个别失误，保留完整调用信息与重跑记录，确保评估客观可复现。最终以分组结果指导学生模型训练，避免直接迁移教师能力，推动高效、可执行的模型选型决策。
2026-09-23 17:35:58
122
原创 蒸馏改写数据怎样验收，才能查到具体错在哪
为提升审核效率与可追溯性，建议将审核结果细化至字段级，保留源值、输出值及拒收原因，避免“不通过”笼统归因。每条输出应关联任务编号，记录源文、提示、模型版本、参数与审核全链路信息。关键字段如金额、日期、产品名、限制条件需按规则校验，区分等价变更与实质性错误。验收规则亦需留版本，确保复盘一致性。修复样本可用于训练但须标注用途，保留独立测试集以评估回归问题。最终验收需结合任务完成度与风险后果，实现精准迭代与质量闭环。
2026-09-22 16:55:02
186
原创 让小模型学企业语气前，先测它会不会改坏业务信息
教师模型改写客服文本时，常因简化导致优惠金额、截止日期等关键信息丢失。为避免错误传播，应建立事实卡机制，逐项核对金额门槛、时间期限、产品名称、限制条件等要素，确保改写内容与原文一致。通过小批量抽检、分类错误分析、词表校验和多轮复测，识别并修复高频问题。事实卡需标注来源版本与生效期，防止过期信息误用。最终生成样本须经独立测试验证，确保学生模型不遗漏高风险信息，保障训练数据的准确性与业务合规性。
2026-09-22 16:54:05
289
原创 蒸馏批量任务的单位合格样本成本怎么算：别只看Token单价
比较教师模型不应仅看Token单价，而应以“单位合格样本成本”为统一口径。该成本包含调用、重试、人工复核、清洗等全链路开销，分母为去重后最终验收样本数。需固定输入、格式、参数与验收规则，按任务类别分别计算，避免平均值掩盖差异。用量字段需结合账单校正，确保公平对比。最终成本仅反映数据生产效率，教师优劣还需结合学生模型表现综合评估。
2026-09-21 17:46:20
194
原创 一批蒸馏数据为什么越生成越贵：先查重试、长输出和低合格率
数据生成越跑越贵，根源常在链路断裂：未统一任务编号导致成本核算失真，重试策略混淆失败类型，长输出隐性推高消耗，且请求成功不等于样本合格。应通过task_id聚合调用、分层验收标准、控制输出长度、精准核算单位合格样本成本，并定期排查异常样本，重建从请求到入库的完整链路，方能真正看清预算漏洞。
2026-09-21 17:45:41
157
原创 企业接入大模型，最容易踩的三个工程坑以及怎么绕开
本文揭示了大模型接入中的三大常见工程陷阱：直接调用厂商SDK、无限制堆砌上下文、过度信任模型输出。这些看似省事的决策，实则埋下高维护成本与系统风险。作者建议通过统一接口封装、限定输入长度、强化输出校验等轻量级方案提前规避，强调早期投入少量成本可避免后期十倍代价。核心观点：工程成熟不在于掌握新技术，而在于为未来规模预付“预防性成本”。
2026-09-20 18:04:44
97
原创 AI 功能上线后效果漂移，排查与监控方案
AI模型效果漂移常见于输入变化、模型静默更新及链路变动。建议构建三层监控：流量侧指标（如输入分布）预警，线上代理指标（如改稿率）感知，定期回归评测验证。排查按“输入—模型—链路”二分法逐层排除，提升效率。最小落地方案为输入监测+固定评测集回归，配合版本管理，可有效防范静默退化。
2026-09-20 18:01:53
162
原创 怎样给团队搭一套大模型调用成本监控（按业务/按模型拆账）
本文提出一套低成本、快速落地的AI调用成本管控方案：通过统一网关收口调用、强制添加业务标签，构建包含请求全量信息的宽表，结合实时报表与三条核心告警规则（日耗超均值2倍、单业务小时超阈值、重试率持续超5%），实现费用透明化、异常即时发现与精准优化。小团队两三天可搭建，先“有账”再“省钱”，为后续模型优化与供应商谈判奠定基础。
2026-09-17 17:45:03
59
原创 Token 用量异常怎么排查？从日志里定位高消耗请求的实
本文系统梳理了Token消耗异常的排查流程：先拆解为请求数与单请求量两个因子定性，再针对请求数暴涨（重试、定时任务、外部薅羊毛）和单请求变肥（输入输出过长、缓存失效）分别排查。强调需基于日志中的usage字段与业务标签，固化告警看板（如重试率、输出长度上限请求占比、缓存命中率等），实现从“月底对账”到“当日报警”的转变。最后指出统一接入层是前提，否则排查无从谈起。
2026-09-17 17:44:22
209
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人