热乎出炉的面经,刚面完NVIDIA TRT LLM~

作者 | 笑渐不闻声渐悄 编辑 | 自动驾驶之心

 原文链接:https://zhuanlan.zhihu.com/p/1918033580103282744

点击下方卡片,关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『求职招聘』技术交流群

本文只做学术分享,如有侵权,联系删文

热乎出炉,刚面完Nvidia TRTLLM。本人bg是做llm推理加速的,主要在做speculative decoding,也有一篇文章中了ICLR 2025。因为想继续做推理加速,所以尝试性的面了一下Nvidia,看能不能积累connection。首先得吐槽一下这个面试机制:4位面试官一人面了我一个小时,整整连续面了4个小时,面完感觉就是一个虚弱无力...然后简单聊一聊面试的问题

第一位面试官:自我介绍,讲一下自己的iclr 25关于spec的工作。面试官问的比较细致,从方法的设置到evaluation都问到了,然后简单讲了一下自己nips 23的科研工作。感觉面试官对我的科研经历还是比较满意,随后出了一道coding:n位数字插入任意数量的+,最后所有结果之和(没做出来,太久没练coding了)

第二位面试官:感觉这位面试官非常了解spec,面试时候就说看过我的这篇文章,交流起来也很深入,把spec的几个发展方向都聊了一下,个人好感度最高。做了一道字符串的题目,有几个case没有做好时间复杂度

第三位面试官:是一位女士,应该也是某个小组的组长,谈了一些关于spec的话题,主要是高batch场景下spec的发展方向,然后手撕transformer结构代码。中间问了一个问题,Q和K的dim必须一样吗?什么情况下不一样,提示是MQA和GQA的区别,然后分别标了代码中数据流的维度

第四位面试官:唯一一位开了摄像头的面试官,态度也非常好,在我讲ppt的时候会仔细听并表示确认;这位面试官主要做system相关的内容,所以也从system的角度和我讨论了一些问题,是收获最大的一场面试

最后反问:实习地点:上海/北京/remote;实习组:tensorrt-llm组;实习topic:主要还是继续做inference优化,可能是继续做spec,但要结合具体业务,不是纯研究型实习,实习薪资8k-1w。虚脱了,还得赶紧复习期末考试~

图片

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值