Bedoom的博客

Arpan Gujarati是印第安人，哥伦比亚大学助理教授，研究方向涵盖实时系统、分布式系统、可靠性分析、调度问题等。这篇论文出自他作为博士后第一年写的文章，创新点很新，算是一个比较先驱的东西了。膜拜膜拜☺☺☺随着机器学习（ML）的不断发展，模型推理也变得越来越多。用户对于一个推理请求会有不同的需求（包括低时延、高吞吐量、低成本）。目前至少有100家公司正为加速机器学习推理而设计芯片。然而，对于高性能模型服务，软件瓶颈继续阻碍着硬件加速器的高效使用。