小新的博客

预测推理性能很困难，需要进行直接测量实验，才能找到最佳执行参数。我们在此次大赛的硬件支持下和开发范围内进行了多次的性能测试，来确保验证应用的整体（端到端）性能。针对于不同的参数和优化逻辑，设备的表现根据批次大小而异。总结任务最佳批次大小取决于模型、推理精度等因素。同样 在某些情况下，可能需要将流和批处理结合起来才能尽力提高吞吐量。还有一种可能的吞吐量优化策略是设置延迟上限，然后增加批次大小和/或流数，直到出现长尾延迟问题（即吞吐量不再增加）为止。这个我们会在之后对模型的推理优化继续深究。

【AI绘画 | draft意间】国产draft推荐及AI绘画背后的原理解读Ai绘画最近可谓是火到不行，它的出现让很多人感叹道时代真的变了。无数高质量的画作随着Ai绘画的出现而出现，让毫无画画基础的人也能成为绘画大师，只需要输入一个或几个关键词就能生成画作，这无疑是一件“颠覆”的事情。