文章目录
承接上一篇:戏蓝图之后,还要不要追问?
承接AI网文写作实验笔记(七):从 0/20 到 20/20——蓝图要“可判定”才管用。
Part 7 证明了“可判定的戏蓝图”能让 AI 一次生成就有戏(20/20 达标)。但生成之后还差最后一步:要不要再让 AI 检查一遍、改一遍? 市面上几乎所有 AI 写作教程都在喊“多轮追问出奇迹”,但没人用控制变量的方式测过——追几轮才是真的有用?
这篇就是回答这个的。60 篇稿子、两个独立评者、同一批初稿打底,结论一句话:1 轮就够了,3 轮是白花钱。
写给谁: 已经用上“戏蓝图 + AI 生成”,想再加一步追问优化,但不知道追几轮、该让谁追的作者。
30秒极简版
一句话:蓝图生成后,追 1 轮(让 AI 检查一遍、改一遍)就够了,别追 3 轮,换模型改没差。下面告诉你为什么。
结论先行:三个问题,一句话回答
1. 追问能让剧情更好吗?
能,但增量小。两个独立评者(作者 + qwen3.7-plus)都同意:初稿是最低的,追问或改稿后普遍更高。但提升幅度有限——蓝图本身已经把戏做到接近满分,追问只是锦上添花。
2. 追几轮值?
1 轮就够。 两评者对“1轮 vs 3轮”没有共识(作者评者认为 1 轮略好,qwen 评者认为 3 轮略好),谁也说不清哪个更强。既然谁更好都说不清,就别为“说不清的东西”多花 3-4 倍成本——取 1 轮。(注意:这里测的 3 轮是“每轮补足加料”式,不是“重复检查 3 遍”式,详见结果二。)
3. 谁来改?换模型改会不会更好?
不会。 deepseek 改 vs qwen3.7-plus 改,两个评者都说没差别。因为审查意见已经把“怎么改”写得足够具体,修改者只是执行指令。“谁来审”比“谁来改”重要——但那是 Part 5 已证的结论(审查必须独立),本篇只测“前提满足后怎么选”。
一、 追问的两个问题
一次生成再好也会漏网——情魔该攻击主角却讲起别人的故事、节奏拖半拍,追问(让 AI 检查一遍、改一遍)就是补这些短板。但代价是:每追一次都要重新喂全文、多花 token,还常把稿子改长。所以真正要问的是:
- 追问几轮值?(方法论 06 说“3 轮追问从 60 拉到 90”)
- 谁来追、谁来改?(生成模型自己审自己,还是换独立模型?)
一个实验设计回答两个问题:追问轮数(0/1/3)怎么设、修改模型换不换。
二、 实验设计
四组,全部基于同一批 15 篇 doubao 初稿。
| 组 | 初稿 | 审查 | 修改 | 测什么 |
|---|---|---|---|---|
| 初稿(基线) | doubao | 无 | 无 | 本轮真实基线 |
| 追问 1 轮 | doubao(同批) | deepseek | deepseek | 追 1 轮值不值 |
| 追问 3 轮 | doubao(同批) | deepseek × 3 | deepseek | 追 3 轮值不值 |
| 追问 + 换修改 | doubao(同批) | deepseek | qwen3.7-plus | 修改者换不换 |
两个变量各测一件事:
- 追问轮数(1 轮 vs 3 轮):后两组共用同一批 doubao 初稿,唯一变量 = 轮数
- 修改模型(deepseek vs qwen):共用同一批初稿 + 同一份 deepseek 审查指令,唯一变量 = 修改模型
评估方式(60 篇全盲): 60 篇(初稿15 + 1轮15 + 3轮15 + 换修改15)打乱组别、随机编号,两个评者独立打分:
- 评者1(作者):主观盲评
- 评者2(qwen3.7-plus):独立模型盲评(不知道哪篇是哪个组)
- 指标:继续阅读意愿(1-5)+ 有戏四要素计数(0-4)
三、 一个意外发现:AI 当评委,也会“和稀泥”
第一版实验设计里,评者2 打算用 deepseek。试评结果:60 篇里 58 篇打 4 分——几乎无法区分好坏。
换 qwen3.7-plus 重新试评,分数分布才拉开。
这是一个可复现的现象:AI 评者对高完成度的稿子默认给高分,打分容易坍缩。 所以本篇采用两个评者(作者 + qwen)交叉盲评,任何结论都不只依赖某一个评者的分数。
给想复现的人:选评者模型前,先拿几篇稿子试测它能不能把分拉开;打不出差分的模型,别用。
我们给评者用的打分 Prompt(连“必须拉开分差”都要写死,否则它就端水):
你是一名网文编辑,正在审稿。下面是一段修仙小说正文。
请只根据这段正文本身质量打分,只输出 JSON:
{ "willing": 继续阅读意愿 1-5(5=非常想看下一章,4=想读,3=还行,2=勉强看完,1=完全不想看),
"drama": 有戏四要素计数 0-4(每符合一项加1:①反派真攻击主角本人 ②反派自己失控 ③主角带动作狠话 ④信息差反转)}
重要:这批稿子共60篇,质量参差,绝不允许全打高分。
5分极其罕见,最多给2篇;平庸流水账请给1-2分。
- 写死“必须拉开分差”:第一次试评时没写这句,deepseek 60 篇里 58 篇打 4 分
- 换模型后分布才正常:同样的 Prompt 喂给 qwen3.7-plus,分数能拉开了
四、 结果一:追问有用,但增量小——两评者唯一一致的地方
先交代一个测量上的关键选择: 本篇有两个指标——“有戏四要素”(数出来的,看戏有没有)和“继续阅读意愿”(打分,看想不想读)。四要素在初稿就到 3.93/4,追问后顶到 4.00/4(见下表)——它已经触顶,追问推不动。所以本篇主指标用“继续阅读意愿”,问的是:戏够了之后,追问还能不能让人更想读?

继续阅读意愿(1-5,5=非常想看下一章,1=完全不想看):
| 组 | 评者1(作者) | 评者2(qwen) | 四要素计数(数出来的,评者1) | 两评者一致吗? |
|---|---|---|---|---|
| 初稿(基线) | 4.33 | 3.53 | 3.93/4 | 都最低 ✅ |
| 追问 1 轮 | 4.73 | 3.67 | 4.00/4 | 都比初稿高 ✅ |
| 追问 3 轮 | 4.53 | 3.93 | 4.00/4 | 都比初稿高 ✅ |
| 换修改模型 | 4.80 | 3.80 | 4.00/4 | 都比初稿高 ✅ |
看“四要素计数”这一列——它说明为什么“戏”没得可追: 初稿已经 3.93/4,追问后顶到 4.00/4。这个指标是数出来的(每篇数:①反派真打主角本人?②反派自己崩?③主角带动作狠话?④信息差反转?中一条记 1 分),不是主观感受——它触顶了,追问在“戏有没有”上已经无事可做。
两个评者唯一达成的共识:初稿是最低的,追问或修改后普遍更高。
- 评者2(qwen):初稿 3.53 → 3轮 3.93,差异显著
- 评者1(作者):初稿 4.33 → 1轮 4.73,差异明显
但注意:增量很小(两评者都只有 0.2-0.4 分),因为反套路蓝图本身已经把“戏”做到接近满分。追问不是用来“把戏写出来”的,是用来“让稿子再多一点想读的冲动”。蓝图负责有戏,追问负责锦上添花。
五、 结果二:3 轮没更好——但必须说清“这是哪种 3 轮”
先说清测的是什么: 我们对比的不是“追 1 次”和“追 3 次”这两个动作,而是两种不同的追问策略:
| 1 轮策略 | 3 轮策略 | |
|---|---|---|
| 审查指令 | 逐项检查四要素,只挑“不达标”的改 | 每轮要求“补足”(第1轮谁打谁、第2轮失控+绝杀、第3轮反转) |
| 篇幅约束 | 明确“保持篇幅相当” | 无(鼓励加料) |
| 结果 | 正文 +10% | 正文 +127% |
重要:这两个策略不同,所以“3 轮没更好”不能简单归因于“轮数多”。 严谨的说法是:在“逐轮补足、每轮加料”这种常见追问方式下,3 轮没有带来共识性的提升,还把正文撑到 2 倍多。
继续阅读意愿:1 轮 vs 3 轮
| 评者 | 1 轮 | 3 轮 | 谁更好? |
|---|---|---|---|
| 评者1(作者) | 4.73 | 4.53 | 1 轮略好 |
| 评者2(qwen) | 3.67 | 3.93 | 3 轮略好 |
两个评者各说各话。 这不是“数据有问题”,而是真实世界里常见的现象——模型评价本身就有主观性,尤其是当两批稿子质量都很接近时。当评者对一个问题没有共识时,正确的决策是:不花额外的钱去赌。
成本账:追问的钱花哪了?
追问的隐藏成本是正文变长——AI 每次“优化”都会把内容扩写,这直接推高 token 消耗:
| 组 | 初稿长度 | 追问后长度 |
|---|---|---|
| 初稿 | 678 字 | — |
| 1 轮追问 | 678 字 | 745 字(+10%) |
| 3 轮追问 | 678 字 | 1539 字(+127%) |
1 轮和 3 轮的正文增长差 12 倍: 1 轮追问的审查指令明确“保持篇幅、只改不达标项”,正文只长 67 字;3 轮追问每轮要求“补足”(信息差反转等),每轮都在扩写,正文疯长到 1539 字——质量没有共识性提升,字却长了 2 倍。
成本明细(按 2026-08 实际 API 单价估算):
| 组 | 输入 token | 输出 token | 合计成本 |
|---|---|---|---|
| 初稿(doubao) | ~0.9k | ~1.0k | ~¥0.006 |
| +1 轮追问(deepseek 审+改) | +2.3k | +1.5k | +¥0.02 |
| +3 轮追问(deepseek×3) | +7k | +7k | +¥0.08 |
| 1 轮 vs 3 轮成本差 | 约 3-4 倍 |
怎么算的(你也能自己算):
单价(2026-08):doubao-pro 输入 ¥1.2/百万token、输出 ¥4/百万
deepseek-chat 输入 ¥0.5/百万、输出 ¥2/百万
1 中文字 ≈ 1.5 token
例:1 轮追问的一篇
初稿 678 字 ≈ 输入 0.9k + 输出 1.0k
+ 审查(把初稿+指令喂给 deepseek)≈ 输入 1.3k + 输出 0.5k
+ 修改(按指令重写)≈ 输入 1.0k + 输出 1.0k
合计 ≈ 4.7k token ≈ ¥0.02 上下
3 轮 ≈ 每轮都重喂全文,14k token ≈ ¥0.08,正好 3-4 倍
量级参考,实际以当时账单为准。
小结:1 轮就够,别追 3 轮
方法论 06 的“3 轮追问从 60 拉到 90”承诺,在我们的数据里没有被复现——两个评者连“3轮是不是更好”都没达成一致,更别说拉到 90 了。增量在 1 轮就基本吃完,3 轮只花钱不产出共识。
六、 结果三:修改者换不换——两评者都说没差别

继续阅读意愿:deepseek 改 vs qwen 改
| 修改模型 | 评者1(作者) | 评者2(qwen) |
|---|---|---|
| deepseek 改 | 4.73 | 3.67 |
| qwen3.7-plus 改 | 4.80 | 3.80 |
| 差异 | 几乎没差 | 几乎没差(统计上不显著) |
两个评者一致:修改模型换不换,没差别。 因为 deepseek 的审查指令已经把“怎么改”写得足够具体(“情魔这句没戳主角本人,改成戳他师父的坟”),修改变成“执行指令”而非“重新创作”。指令够细,执行者是谁就不重要。
一个诚实交代: 有人可能会问——那“审查者”呢?换审查者会不会有差别?这个问题在 Part 5 已经回答过:审查者必须独立于生成模型。但注意:Part 5 测的是文风校准场景,本篇是剧情审查场景,两者任务不同——这里引用的是 Part 5 的原理(审查者独立于生成者),而非在本篇场景直接重测。严谨地说,这是“借用已证原理”,不是“本篇场景内独立验证”。
为什么这对实践很重要? 它帮你省掉两类冤枉钱:
- 别在“追问几轮”上砸钱——1 轮就够,3 轮两评者都没共识还贵 3-4 倍;
- 别在“换修改模型”上纠结——两评者都说没差别,用便宜的就行。
七、 落地:SOP 的完整形态
“人填蓝图 → AI 生成 → 独立模型审查 → 任意模型按指令改 → 人工终审”
【人工】填反套路戏蓝图(谁打谁/谁失控/怎么绝杀/什么反转)
↓
生成模型照蓝图生成初稿(doubao)
↓
【审查】独立模型(deepseek)逐项检查四要素,输出具体修改指令
"情魔这句没戳主角本人,改成戳他师父的坟"
↓
【修改】谁执行都行(deepseek 或 qwen),按指令重写
↓
【人工】终审:只查剧情,文字不动
判断标准:
- 审查者必须独立于生成者(Part 5 原理,本篇借用)
- 追问 1 轮足够,别追 3 轮(两评者无共识 + 3 倍成本 + 正文 +127%)
- 修改者换不换,两评者都说没差别,别纠结
- 如果独立审查后仍不达标 → 问题在蓝图(谁打谁写得太虚),回 Part 7
✅ 这是一个场景下的初步验证,不是“完整链路通用验证”。 本篇验证的是:攻心对话戏 + doubao/deepseek/qwen 这三个模型下,追问值多少、几轮、谁审、谁改。跨题材、跨模型未验证。
可复制的独立审查 Prompt(直接喂给审查模型)
【任务】你是独立审查者,检查下面这段小说正文是否符合四条"有戏"标准。
【正文】
{在这里粘贴 AI 生成的初稿}
【逐项检查】
① 谁打谁:反派是否真的在攻击主角本人(揭主角伤疤/秘密)?还是只讲了别人的故事?
② 谁失控:反派是否自己绷不住崩掉(破音/自曝/恼羞成怒)?还是作者安排它崩?
③ 怎么绝杀:主角是否有带动作的狠话(一句掀翻反派逻辑)?还是只讲道理?
④ 什么反转:是否有信息差反转(主角知道、反派不知道的事,关键时刻亮出)?
【输出格式】
- ① 达标/不达标:若不达标,具体怎么改(改哪句、改成什么)
- ② 达标/不达标:若不达标,具体怎么改
- ③ 达标/不达标:若不达标,具体怎么改
- ④ 达标/不达标:若不达标,具体怎么改
【红线】只审剧情执行,不改人设、设定、世界观。
【改稿要求】按指令修改时,保持篇幅与原稿相当,只改不达标项。
把这段 Prompt + 初稿喂给另一个模型(deepseek 等),拿到修改指令后,交给任意模型(或自己)按指令改。关键:审查模型必须和生成模型不是同一个。
低配版(只有一个模型/一个账号时怎么办)
如果你只有豆包或一个 ChatGPT 账号,做不到“生成用 A、审查用 B”,可以用**“先自查、再修改”**的降级版:
【任务】你是网文编辑,先审查下面这段正文是否达标,再按审查结果修改。
【正文】
{你的初稿}
【自查清单】
① 反派有没有直接攻击主角本人(揭伤疤/秘密)?还是只讲了别人的故事?
② 反派有没有自己绷不住崩掉?还是作者强行安排它崩?
③ 主角有没有带动作的狠话?还是只讲道理?
④ 有没有信息差反转(主角知道、反派不知道的事)?
【执行】
第1步:逐项写"达标/不达标 + 为什么"。
第2步:只改不达标项,保持篇幅与原稿相当。
直接输出修改后的完整正文,不要解释。
效果打折说明: 同一个模型自己审自己,会漏掉自己犯的错(这是 Part 5 的原理:校准师必须独立)。低配版比不审强,但比独立审查弱——如果你认真写书,还是建议至少两个模型(豆包生成 + deepseek 审查,两个都不贵)。
八、 明天就能试:最小闭环(5 分钟)
- 用 4 行蓝图喂生成模型(doubao 等)写一段戏。
- 用另一个模型(deepseek 等)审查:“这四件事做到没有?没做到的,具体怎么改?”
- 把审查指令交给任意模型改(或自己改),让它保持篇幅、只改不达标项。
- 对比初稿和改后:四要素是否更到位?阅读意愿是否提升?
关键是第 2 步——别让生成者自己审自己。
九、 本期数据与样本(全部存档可索取)
本轮全部数据基于同一批 15 篇 doubao 初稿:初稿本身、deepseek 改版(1 轮)、qwen 改版(换修改)、deepseek×3 轮(3 轮),共 60 篇。盲评文件(60 篇打乱)、两个评者原始打分、成本日志、统计脚本——评论区或私信找作者要。
十、 实验边界与局限(一句话一条)
- 打分的是作者和 AI,不是真人读者:我们说的“想不想读”,是AI视角的判断,不代表真实读者的反应。真人读者可能更挑剔,也可能口味完全不同。
- 两个评者对 60 篇的排序几乎不相关:谁好谁坏,作者和 AI 的看法经常不一样。这本身就是个发现——模型评价有很强的主观性,别把任何一个打分者当真理。(唯一例外是“初稿最差”这个粗判断,两评者一致。)
- 样本量小:每组只有 15 篇,差异的判断只能作参考,换成更多稿子结论可能有波动。
- 单场景、单题材:攻心对话戏。打斗/权谋、感情戏、其他爽感类型未验证。
- 单模型组合:只测了 doubao(生成)+ deepseek/qwen(审改)。Claude/GPT 等其他模型未验证。
- 1 轮与 3 轮的指令不完全对称:3 轮是“逐轮补足”式,本身更鼓励扩写。所以“3 轮成本高”里有指令设计成分,但“无共识 + 成本高”的结论不变。
- 成本按 2026-08 时价粗算,token 换算存在模型间差异,具体数字只作量级参考。
十一、 一句话总结
追问有用但增量小(两评者一致:初稿最差、改后更好);1 轮 vs 3 轮两评者无共识,所以取便宜的 1 轮;换修改模型两评者都说没差别。 追问的成本结构里,轮数和修改者都可省——真正要保证的是“审查者独立”(Part 5 原理),这一步别省。
完整 SOP:人填蓝图 → 生成 → 独立模型审查 → 任意模型按指令改 → 人工终审。
本系列进度: Part 1(实验框架)→ Part 2(样本量)→ Part 3(约束数量)→ Part 4(规则形态)→ Part 5(文风标杆)→ Part 6(大纲端的剧情设计上限)→ Part 7(剧情蓝图)→ Part 8(追问优化,本篇) → Part 7 续(场景粒度)→ Part 9(情绪峰值 + 压抑释放)
1422



被折叠的 条评论
为什么被折叠?



