文章目录 LLM 预训练|SFT监督微调|推理 交叉熵损失 预训练阶段 SFT微调阶段 推理阶段 LLM 预训练|SFT监督微调|推理 交叉熵损失 熵（Entropy）是信息论中的一个核心概念，它量化了一个随机变量的不确定性或信息内容。交叉熵（Cross Entropy）进一步发展了这个概念，用于衡量两个概率分布之间的差异。 L = − 1 N ∑ i = 1 N y i , c log P ( y ^ i , c ) L = -\frac{1}{N} \sum_{i=1}^{N} y_{i,c} \log P(\hat{y}_{i,c}) L=
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
