MindIE推理采样后处理参数temperature和top_k的引发的精度问题

背景

MindIE跑Qwen系列模型推理，测试发现后处理参数top_k很大，temperature=2的场景，模型输出有精度问题。

现象

经过进一步复现和测试，发现如下现象。

在Ascend的npu上面temperature=2和top_k很大时有精度问题。

在gpu也有同样问题

原因分析

MindIE的后处理

后处理参数的顺序temperature > top_k > softmax > top_p，查看代码可知temperature 的使用方式是logits/temperature ，即temperature 越大，各个logits之间的差就越小，在softmax阶段，根据softmax的原理，值差距越小，token概率就越接近（意味着很难选到正确的token，极端情况有精度问题）。

过程分析

后处理过程：temperature=2 时。temperature处理后，logits值差距变小，如果top_k比较大，则大量logits进入so