大模型面经 - 快手快 Star

作者 | 小森 编辑 | 自动驾驶之心

 原文链接:https://zhuanlan.zhihu.com/p/1928556109037281822

点击下方卡片,关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>自动驾驶前沿信息获取自动驾驶之心知识星球

本文只做学术分享,如有侵权,联系删文

部门与岗位:MMU - 【快Star】多模态大模型

一面

  1. 自我介绍,问实习和论文,对于 CV 的论文进行了深入的探讨,尤其对于引入 Diffusion 十分感兴趣,从 motivation 到 method 再到 result 顺下来的,花了比较长的时间

  2. 了解哪些多模态大模型,简要介绍一下吧,目前主流的多模态大模型的范式是什么样的

  3. 在 BLIP-2 或者 Qwen-VL 中,Learnable Query 的作用是什么,为什么在后续版本中,比如 BLIP-3 和 Qwen2-VL 中都不使用了

  4. 了解 KV Cache 吗

  5. 大模型的后训练是怎么做的,在 VLM 上做后训练有什么区别

  6. 知道 SAM 吗?说说 SAM 是怎么做的,对于 point,box 以及 text 这些不同的 prompt 输入,模型是怎么进行 encode 的

  7. 概率题:一根绳子剪成三段,这三段可以围成三角形的概率是多少

  8. 代码:32. 最长有效括号

一面论文问的比较细致,对于没有提到的细节面试官还会询问确认,但是八股问的还是比较常规的,就是概率题有点烦

二面

  1. 自我介绍,问实习和论文,重点问了论文,还是比较感兴趣 CV 方面的东西,比如 Backbone 的选择,Diffusion 怎么和 DETR 结合的等等

  2. 讲一下 LoRA,两个权重矩阵一般怎么初始化,能都全 0 吗?为什么

  3. 除了 LoRA,还了解哪些可以进行训练推理优化的技术,DeepSpeed 的三个阶段分别是怎么优化的

  4. 现在的多模态大模型,动态分辨率一般都是怎么做的,位置编码怎么设计

  5. 概率题,一副扑克牌,去掉大小王,随机抽两张,花色相同的概率

  6. 场景题:目前有一个带货的直播间,设计一个方案,要确定目前正在卖的是哪个商品,尽可能详细的说,商品比较多怎么降低时延,商品比较小怎么精确识别

  7. 给你发了 offer 能提前来实习吗

  8. 代码:236. 二叉树的最近公共祖先

二面仍是对于论文的详细拷打,看来面试官比较看重论文,八股倒是问的比较简单。场景题也比较烦,面试官会在给定的方案上提出未解决的问题,要一步一步完善方案

三面

  1. 自我介绍,挑一个你觉得做的比较好的实习或者论文讲一下,因为之前都是在拷打论文,这里就挑了 MSRA 的实习讲了讲

  2. 目前有在跟进一些多模态大模型的进展吗?最新的一些多模态大模型都是怎么做的吗

  3. 了解多模态 RAG 吗

  4. 场景题:现在有一些图文或者视频,需要你构建一个多模态大模型来判断这些图文或者视频的质量,怎么做

  5. 开放题:平常在训练或者微调 LLM 或者 VLM 的时候,有什么心得吗

  6. 代码:模拟题,一个推荐链路的排序

三面我觉得对于知识的广度考察比较多,问的比较泛,没有特别八股的考察,对于某个点进行深挖,面试氛围还是比较轻松的

四面

四面是答辩环节,这里主要就是按照自己之前的经历来了。最好是把之前的工作串成一条主线,按照这条线来展开,条理会比较清晰,吃了这个亏了

具体问题的话,因为面试官职级比较高,所以问的问题就没有那么技术,比如会考察对于业务的理解,或者问职业规划这些

总结

总的来说,感觉面试体验不错,面试官还是非常专业的。前三面都是正常的面试难度,有答辩就是有机会 Star,没答辩就是正常校招了

更多大模型学习资料,欢迎加入『大模型之心Tech知识星球』

图片

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区,近300+自动驾驶公司与科研结构加入!涉及30+自动驾驶技术栈学习路线,从0到一带你入门自动驾驶感知(大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪)、自动驾驶定位建图(SLAM、高精地图、局部在线地图)、自动驾驶规划控制/轨迹预测等领域技术方案、大模型,更有行业动态和岗位发布!欢迎加入。

独家专业课程

端到端自动驾驶大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网:www.zdjszx.com

### IoT硬件开发试经验 对于IoT硬件开发岗位的试,候选人不仅需要掌握基本的电子电路设计原理和嵌入式编程技能,还需要具备处理实际项目中的各种挑战的能力。在准备这类职位的试时,可以从以下几个方着手: #### 1. 基础理论知识 深入理解微控制器的工作机制、传感器接口技术以及无线通信模块的应用是必不可少的基础。例如,在对具体应用场景时如何选择合适的MCU型号及其外设资源分配方案;熟悉SPI/IIC等常见串行总线协议的操作方式。 #### 2. 实际操作能力 除了笔试之外,很多公司还会安排动手实践环节来考察应聘者的实战水平。这可能涉及到PCB板的设计与焊接、编写简单的固件程序实现特定功能或是搭建小型网络节点之间的数据传输链路等内容[^2]。 #### 3. 调试技巧 当遇到设备无法正常工作的情况时,能否速有效地找到原因至关重要。因此要学会运用逻辑分析仪、示波器之类的工具辅助排查故障点所在位置,并通过调整参数设置或修改代码逻辑解决问题。 #### 4. 安全意识 随着越来越多敏感信息被上传至云端存储空间内,保障整个系统的安全性变得越来越重要。了解TLS/SSL加密算法的作用机理及其与其他主流物联网通讯标准(比如MQTT, CoAP)相结合的方式有助于增强个人竞争力[^3]。 ```c++ // 示例:使用MBED库初始化Wi-Fi连接并发送HTTP请求获取远程服务器时间戳 #include "mbed.h" #include "EthernetInterface.h" int main() { EthernetInterface eth; eth.connect(); TCPSocket socket; SocketAddress addr("time.nist.gov", 80); socket.open(&eth); socket.connect(addr); char send_data[] = "GET / HTTP/1.1\r\nHost: time.nist.gov\r\nConnection: close\r\n\r\n"; socket.send(send_data, strlen(send_data)); char recv_data[100]; int bytes_received = socket.recv(recv_data, sizeof(recv_data)); printf("Received %d bytes from server:\r\n%s", bytes_received, recv_data); socket.close(); } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值