🍭 字数限制:Max New Tokens
- 就像给AI设定“小作文上限”📝,比如100/150/200字
- 但AI可能提前收尾(遇到停止符⏹️),实际字数≤设定值
🤖 默认模式:Greedy Decoding(贪心解码)
- AI永远选概率最高的词 → 容易车轱辘话来回说
- 例:AI写"蛋糕真好吃,蛋糕真…"(无限循环警告!)
🎲 随机采样:给AI加亿点创意
- 按概率抽卡式选词🍀(2%概率的词也可能中选!)
- 开启方式:
do_sample=True
(HF家AI的隐藏开关✨)
⚠️但可能跑偏成《克苏鲁文学》→ 需要控场技巧👇
🔝 Top K/P采样:创意不翻车秘籍
1️⃣ Top K:AI只在TOP K词池里抽
→ 例:K=3时,只在🍰/🍩/☕️里选,拒绝怪词
2️⃣ Top P:累加概率≤P的词池
→ 例:P=0.3时,选🍰(20%)+🍩(10%)=刚好30%
💡搭配tip:K和P别同时用!会互相干扰~
🌡️ 温度参数:冰火两重天!
- 低温(<1) :AI变保守派👔
→ 疯狂复读"蛋糕蛋糕蛋糕…"(概率高度集中) - 高温(>1) :AI变狂野诗人🎸
→ “星空拿铁配量子芝士!”(概率分布扁平化) - 默认=1:保持出厂设置⚖️
💎 超实用总结
1️⃣ 想稳定输出→低温+贪心解码
2️⃣ 要脑洞大开→高温+Top K/P
3️⃣ 防止鬼打墙→必开随机采样!
📚 课程来源
《Generative AI with LLMs》by DeepLearning.AI & Amazon Web Services
👉 Coursera传送门:https://www.coursera.org/learn/generative-ai-with-llms/
👉 关注我,解锁更多AI黑科技!