weixin_43452189的博客

在一些复杂的应用中，在代码路径的某些地方可能没有正确释放内存。webui在切换模型时，会先check内存中是否有加载过此模型，如果有则直接从内存中读取，没有就去磁盘中加载，并且判断已加载模型数量是否大于checkpoint_limit,不满足则会在下次切换其他模型时将此模型权重加载到内存中（send_to_cpu()）。一句话总结就是，webui在切换模型时，工程师偷懒了，并没有考虑在内存频繁读取和分配时做好垃圾回收和释放，导致重复向内存中写入模型权重，他们估计也发现了这个问题，怎么解决呢？