昇腾MindIE的性能调优流程主要通过参数配置优化吞吐率(TPS),在满足时延约束的前提下实现最大吞吐。以下是关键参数配置及调优方法,结合具体场景说明:

MindIE模型参数配置文件路径默认为:
/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json

一、基础环境优化
CPU高性能模式与透明大页
在裸机环境中执行以下命令,开启CPU高性能模式和透明大页,可提升整体性能:
echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
echo always > /sys/kernel/mm/transparent_hugepage/enabled
建议场景 :所有推理任务均适用,需在系统层面优先配置 。

最低0.47元/天 解锁文章
1164

被折叠的 条评论
为什么被折叠?



