这篇文章会回答三个问题:
- AI写出来的东西,到底有多随机?同一个prompt跑100次,最好和最差能差多少?
- 跑多少组对比实验,结论才是可靠的?3-5次?20次?还是更多?
- 给AI喂更多上文,到底会不会降低事实错误率?会不会让输出变水?
承接AI网文写作实验笔记(一):为什么你改了一百次提示词,效果还是没有提升?。
Part 2 按计划本该直接跑上下文实验,但在开始前,我遇到了一个必须先回答的问题:
AI 的输出到底有多随机?
如果连我自己都没搞清楚噪音有多大,那后面一切“改完提示词效果变好了”的结论,可能都只是刚好抽到了好盲盒。
一、 先测基线:AI输出到底有多随机?
⚠️ 前置说明: 本文所有实验均在 温度 0.7、deepseek-v4-flash 模型、中文网文创作任务下进行。不同模型、不同温度、不同任务的随机波动差异极大,请勿将结论盲目外推。
我用完全相同的提示词,连续跑了 100 次,统计了两个核心指标:AI腔(每千字套话数量)和输出字数。
AI 腔的波动
| 统计量 | AI腔/千字 |
|---|---|
| 平均值 | 10.1 |
| 标准差 | 4.4 |
| 变异系数 CV | 0.44 |
| 最小值 | 4.7 |
| 最大值 | 16.2 |

0.44 是什么概念?
意思是:一模一样的输入,跑两次,结果大概率会在 5.7 - 14.5 之间波动。最好的一次和最差的一次,套话数量差了 3.4 倍。
输出字数的波动
| 统计量 | 字数 |
|---|---|
| 平均值 | 450 |
| 标准差 | 135 |
| 变异系数 CV | 0.30 |
| 最小值 | 207 |
| 最大值 | 988 |

字数波动稍微小一点,但极差也达到了近5倍。
这对我们实操意味着什么?
以前 AI 写出垃圾,我总陷入自我怀疑,疯狂改提示词。现在数据证明:在 T=0.7 下,3.4 倍波动是客观存在的。
以后遇到糟糕输出,第一反应别再是“我哪里写错了”,而可能是“刚好抽到了下限”。与其死磕提示词,不如多点几次重试。
二、 第一轮教训:为什么跑20组会得出相反结论?
知道波动大,就引出一个问题:假设改了提示词跑 20 次,AI腔降了 11%,这是真有效还是运气?
统计学告诉我们,由于 CV=0.44,20次样本能稳定检测出的最小差异(MDE)大概在 27%。低于这个数,你根本分不清是真有效,还是刚好抽到了好盲盒。
本次实验计算 MDE 和 CV 的核心 Python 脚本逻辑:
import numpy as np
# 100次实验的AI腔数据样本 (示例数据)
ai_cavity_counts = np.array([10.1, 8.5, 14.2, 9.8, ...])
n = len(ai_cavity_counts)
# 1. 计算变异系数 CV
mean_val = np.mean(ai_cavity_counts)
std_dev = np.std(ai_cavity_counts, ddof=1)
cv = std_dev / mean_val
print(f"变异系数 (CV): {cv:.2f}")
# 2. 双样本对比估算最小可检测差异 (MDE)
# 置信度 95% (Z_alpha=1.96), 检验力 80% (Z_beta=0.84)
z_alpha, z_beta = 1.96, 0.84
mde = (z_alpha + z_beta) * np.sqrt(2) * cv / np.sqrt(n)
print(f"N={n} 时,最小可检测差异 (MDE): {mde * 100:.2f}%")
我第一轮就是按 20 组跑的,结果完美踩坑:C组(前三章全文)的AI腔比基线高了 26%,我当时断言"长上下文会升高 AI 腔"。后来加码到 100 组再跑,C组反而降了 2%,结论直接反转。

为什么?因为样本太小,均值很容易卡在极端值上。网上常有人对同一个技巧结论完全相反,不是谁在撒谎,都是样本量不够测出的随机切面。
这也是本文直接弃用 20 组方案,全部加码到 100 次/组的原因。
三、 正式实验:上下文长度的影响
有了基线后,我们用 100 组/组、严格固定除自变量外的所有输入条件,重新跑了上下文量 vs 核心指标的对比实验。
| 组 | 上文内容 | 总上下文长度 |
|---|---|---|
| A | 零上文 | 4628 字 |
| D | 300字摘要 + 上一章全文 | 7980 字 |
| C | 前三章全文 | 12481 字 |
结果 1:上下文越长,AI 腔就越多吗?
| 组 | AI腔/千字 | vs A组 | 统计显著性 |
|---|---|---|---|
| A_零上文 | 10.06 | 基线 | - |
| D_摘要+上一章 | 11.36 | +13% | p=0.026 显著 |
| C_前三章 | 9.86 | -2% | p>0.05 不显著 |

💡 实操提示:C组的 -2% 在统计学上不显著,差异幅度太小,实操上几乎可以忽略。
这是第一个反直觉的结论:中等长度的上下文,AI腔反而最高;喂最长的前三章全文,AI腔反而与零上文几乎持平。不是上文越多套话越多,它并没有简单的线性规律。
结果 2:上下文越长,禁用词就越多吗?
| 组 | 禁用词/千字 | vs A组 |
|---|---|---|
| A_零上文 | 0.13 | 基线 |
| D_摘要+上一章 | 0.30 | +130% |
| C_前三章 | 0.69 | +430% |
趋势很明显:你给模型提供的上文越长,它就越爱写"不禁"“微微”"顿时"这类特定词汇。
原因很好理解——AI 在模仿前文风格。你喂的长文里本身就有这些词,它写的时候就会不自觉地"传染"。
💡 实操提示:虽然相对涨幅大,但绝对量不到千字一个,对阅读体验影响有限。
结果 3:上下文越长,输出字数就越多吗?
| 组 | 平均输出字数 | vs A组 |
|---|---|---|
| A_零上文 | 449 | 基线 |
| D_摘要+上一章 | 435 | -3% |
| C_前三章 | 683 | +52% |
这是本次实验效应量最大的结论。你给模型输入的上文越长,它就会写得越长。
字数暴涨 52%,和剧情需不需要毫无关系,AI 单纯就是**"输入越长输出越长"的镜像效应**。很多作者喂了长文,看 AI 写得长以为剧情展开了,其实多半是注水。想控制正文详略,最直接的物理手段就是控制输入上下文的长度。 想写精简的过渡章,就别喂长上文。
结果 4:上下文越长,事实错误率就越低吗?
除了上面的指标,本次上下文实验还有一个最硬的指标:事实错误率。
| 组 | 含事实错误的样本占比 | 平均每篇错误数 |
|---|---|---|
| A_零上文 | 95% | 1.7 |
| C_前三章全文 | 45% | 0.6 |
| D_摘要+上一章 | 21% | 0.27 |

最反常识的结论出现了:喂前三章全文的错误率,反而比只喂300字摘要+上一章高一倍还多。
喂上文绝对有用,但喂得越多越全,事实错误率反而越高。因为太长的上下文会分散模型注意力,它在几百行里大海捞针找设定的难度,比看精炼摘要更大。
所以,别图省事直接复制粘贴全文了。花几分钟提炼一份 300 字的核心摘要 + 上一章内容,才是防止设定崩塌的最优解。 虽然它的 AI 腔会微涨一点,但比起设定崩塌,这点代价微不足道。
四、 总结:三个可以直接用的结论
这篇实验笔记,与其说是发现了什么惊天结论,不如说是帮我理清了三个以前凭直觉瞎猜的盲区:
- 接受随机性,减少内耗。 知道了 3.4 倍的波动是客观存在的,就不再把每一次翻车都归咎于自己的提示词写得烂。允许波动,多点几次重试,比死磕单次输出更高效。
- 理解篇幅的"镜像效应"。 明白了输入越长、输出越水是 AI 的物理机制,以后就可以反向利用它:用上下文长度来辅助控制正文的详略,警惕长上文带来的无意识注水。
- 相信摘要策略的性价比。 知道了不是喂的上文越长越准,300字摘要加最后一章的事实错误率反而比喂前三章全文低一半。与其图省事复制粘贴全文,不如花几分钟提炼核心摘要,这才是防止设定崩塌的最优解。
记住这三点,我们在面对AI网文创作时,能少走很多弯路。
五、 下一篇预告
Part 3 我们会测试提示词里的约束条件。
平时写文时,我们总喜欢在 prompt 里堆砌各种要求和禁忌词,试图把 AI 圈在框里。但约束加得越多,到底会让它写得越精准,还是越死板?3 条约束和 30 条约束,效果差在哪?
我们下一期用数据见分晓。
2719



被折叠的 条评论
为什么被折叠?



