作者 | 笑渐不闻声渐悄 编辑 | 自动驾驶之心
原文链接:https://zhuanlan.zhihu.com/p/1918033580103282744
点击下方卡片,关注“自动驾驶之心”公众号
>>点击进入→自动驾驶之心『求职招聘』技术交流群
本文只做学术分享,如有侵权,联系删文
热乎出炉,刚面完Nvidia TRTLLM。本人bg是做llm推理加速的,主要在做speculative decoding,也有一篇文章中了ICLR 2025。因为想继续做推理加速,所以尝试性的面了一下Nvidia,看能不能积累connection。首先得吐槽一下这个面试机制:4位面试官一人面了我一个小时,整整连续面了4个小时,面完感觉就是一个虚弱无力...然后简单聊一聊面试的问题
第一位面试官:自我介绍,讲一下自己的iclr 25关于spec的工作。面试官问的比较细致,从方法的设置到evaluation都问到了,然后简单讲了一下自己nips 23的科研工作。感觉面试官对我的科研经历还是比较满意,随后出了一道coding:n位数字插入任意数量的+,最后所有结果之和(没做出来,太久没练coding了)
第二位面试官:感觉这位面试官非常了解spec,面试时候就说看过我的这篇文章,交流起来也很深入,把spec的几个发展方向都聊了一下,个人好感度最高。做了一道字符串的题目,有几个case没有做好时间复杂度
第三位面试官:是一位女士,应该也是某个小组的组长,谈了一些关于spec的话题,主要是高batch场景下spec的发展方向,然后手撕transformer结构代码。中间问了一个问题,Q和K的dim必须一样吗?什么情况下不一样,提示是MQA和GQA的区别,然后分别标了代码中数据流的维度
第四位面试官:唯一一位开了摄像头的面试官,态度也非常好,在我讲ppt的时候会仔细听并表示确认;这位面试官主要做system相关的内容,所以也从system的角度和我讨论了一些问题,是收获最大的一场面试
最后反问:实习地点:上海/北京/remote;实习组:tensorrt-llm组;实习topic:主要还是继续做inference优化,可能是继续做spec,但要结合具体业务,不是纯研究型实习,实习薪资8k-1w。虚脱了,还得赶紧复习期末考试~