前言
今天给大家分享一份热乎的大模型应用开发面经,希望能够帮到近期冲击大模型秋招的同学。
1、时间范围
近半年。
2、实际面过的公司
阿里、腾讯、美团、字节、快手、同程、京东、360、keep、滴滴、印象笔记、作业帮、彩云科技、蓝色光标、江城互娱、Aviagames、Hungry Stdios、深言科技、即时科技、RockFlow、格灵深瞳、百融云创、印象笔记、网龙、 HiDream.ai、昆仑万维、数驱互动、Authing。
3、先说总结
(1)面试内容 & 难度
个人觉得,在 LLM 应用的面试题上,没有太多复杂、高深的问题,不像上来让你说一下分布式锁怎么设计然后死扣设计细节或是描述一下 MVCC 原理这种偏高难度的八股文问题(当然也遇到了一两次)。
究其原因以下几点:
- 一是大模型应用目前仍没有很成熟且被广泛接纳的方案,都还在探索;
- 二是很多公司今年刚开始 all in AI(我司 all 进去的比较早点),面试官也懂得不多。
例如 RAG 这个东西,大部分的面试题无非是“你觉得 RAG 中最难的是什么?(文档切割喽)”、“你是怎么解决幻觉问题的?”,“微调和 RAG 的区别是啥?”等等。
如果你做过 RAG 加上你经常看技术文章结合你的“侃侃而谈”,基本面试官都觉得 ok。
但这里着重说一下我觉得当前非常重要且极大概率提升面试通过率的的一个技术点,就是掌握微调原理并且做过动手做过微调工作再加上动手部署过大模型。
这是我面试中最常被问到而又只能说没做过的问题,当然大部分公司都有专门的算法团队去做这件事,自己到没机会参与其中,也是可以理解的。
算法题: 一半是 DP 问题,还有一部分难度是 easy 的问题,总体上都是“老熟人”,但是,你即使写出来,面试不一定就能过,有的干脆就不考算法题。
八股文: 明显比之前少很多,这个和面试的岗位有关系,LLM 应用的岗位更偏实践,所有很多一面就是 leader 面,直接问项目,除非一面也不懂 LLM 的东西,就会考八股文。
但总的来说,八股少了,但是绝对不可以不准备,好几次挂在这上面,别小瞧它。
岗位内容:
- 游戏公司:基本上是 LLM + AB test for 游戏策划;BI 分析;游戏社区客服助手;
- toC:Agent 个人助手
- toB:Agent for 解决方案
- other:通用 Agent 平台;公司内部 AI 助手、平台;Agent for 运维
(2)offer
会有很多横向对比,如果你期望薪资比较高,对方说要在等等,基本上凉了。
大部分涨幅基本是不到 20% 的,但我的期望是 30% 左右,最后还是拿到了(要有一点点耐心,还要有一定的运气)。
不要眼高手低,先拿一个低于自己预期的 offer,再慢慢谈,前提是公司想要你。
规划好时间,集中面试,集中对比,由于我时间线拉的过长,后面安排的很乱。
(3)再总结
如下:
- 每次面完都要复盘,没答好的问题,一定要重新梳理答案。
- 没把握问题的可以直接说不会,别给个你自己都听不懂的答案。
- 简历一定要让大模型润色,但自己要 check 一遍,别吹过头了。
- 多看技术文章,扩展技术视野,提高二面面试官对你的印象。
- 表达一定要流畅清晰,不要断断续续的,面试官会觉得你思路不清晰。
- 项目效果评估是个很重要的问题,不管你的技术多炫酷,终究还是要看效果,看落地效果。
4、面试题
这里想到多少写多少。
LLM 基础:
- 大模型是怎么训练出来的?
- Transform 的架构,Encoder 和 Decoder 是什么?
- Function Call 是怎么训练的?
- 微调的方案有哪些?自己做过没有?
- 大模型分词器是什么?
- Embedding 是什么?你们用的那个模型?
Lib:
- 介绍一下 langchian
- 介绍一下 autogen
- 有没有用过大模型的网关框架(litellm)
- 为什么手搓 agent,而不是用框架?
- mcp 是什么?和 Function Call 有什么区别?有没有实践过?
- A2A 了解吗?
Prompt:
- ReAct 是啥?怎么实现的?
- CoT 是啥?为啥效果好呢?有啥缺点?
- Prompt Caching 是什么?
- 温度值/top-p/top-k 分别是什么?各个场景下的最佳设置是什么?
RAG:
- 你介绍一下RAG 是什么?最难的地方是哪?
- 文档切割策略有哪些?怎么规避语义被切割掉的问题?
- 多路召回是什么?
- 文档怎么存的?粒度是多大?用的什么数据库?
- 为啥要用到图数据库?
- 向量数据库的对比有没有做过?Qdrant 性能如何?量级是多大?有没有性能瓶颈?
- 怎么规避大模型的幻觉?
- 微调和 RAG 的优劣势?
- 怎么量化你的回答效果?例如检索的效果、回答的效果。
workflow:
- 怎么做的任务拆分?为什么要拆分?效果如何?怎么提升效果?
- text2sql 怎么做的?怎么提高准确率?
- 如何润色query,目的是什么?
- code-generation 是什么做的?如何确保准确性?
- 现在再让你设计你会怎么做?(replan)
- 效果是怎么量化的?
Agent:
- 介绍一下你的 Agent 项目
- 长短期记忆是怎么做的?记忆是怎么存的?粒度是多少?怎么用的?
- Function Call 是什么做的?
- 你最大的难题是什么?你是怎么提高效果的?怎么降低延迟的?
- 端到端延迟如何优化的?
- 介绍一下 single-agent、multi-agent 的设计方案有哪些?
- 反思机制是什么做的?为什么要用反思?
- 如何看待当下的 LLM 应用的趋势和方向
- 为什么要用 Webrtc?它和 ws 的区别是什么?
- agent 服务高可用、稳健性是怎么保证的?
- llm 服务并发太高了怎么办?
系统设计题:
-
短链系统
-
分布式锁的设计
-
给你一部长篇小说,怎么做文档切割?
-
怎么做到论文翻译,并且格式尽可能和原来的统一
-
游戏社区客服助手设计。如何绑定游戏黑话,如何利用好公司内部的文档
-
结合线上问题快速定位项目工程代码有问题的地方
-
有很多结构化和非结构化数据,怎么分析,再怎么得出我要的结论
八股:
- go 的内存分配策略、GMP、GC
- python 的内存分配策略、GC
- redis 用过那些?mget 底层什么实现的?、zset 怎么实现的?
- mysql 索引怎么设计最好?数据库隔离级别?mvcc 是怎么实现的?
- 分布式锁是什么实现的?
- kafka 的 reblance 是什么?会产生那些问题?怎么保证数据不丢?
- fastapi 设计原理?
- go 中 net/http 如何处理的 tcp 粘包问题
- http2 是什么?比 http1.1 有什么优势?
- Linux 网络性能调优的方式
- 如何定位 Linux 中的 pid、端口号等等
最后
由于文章篇幅有限,不能将所有公司的面试题+答案解析展示出来,有需要完整面试题资料的朋友,可以扫描下方二维码免费领取哦!!! 👇👇👇👇

面试题展示
1、请解释一下BERT模型的原理和应用场景。
答案:BERT(Bidirectional Encoder Representations from Transformers)是一种预训练的语言模型,通过双向Transformer编码器来学习文本的表示。它在自然语言处理任务中取得了很好的效果,如文本分类、命名实体识别等。
2、什么是序列到序列模型(Seq2Seq),并举例说明其在自然语言处理中的应用。
答案:Seq2Seq模型是一种将一个序列映射到另一个序列的模型,常用于机器翻译、对话生成等任务。例如,将英文句子翻译成法文句子。
3、请解释一下Transformer模型的原理和优势。
答案:Transformer是一种基于自注意力机制的模型,用于处理序列数据。它的优势在于能够并行计算,减少了训练时间,并且在很多自然语言处理任务中表现出色。
4、什么是注意力机制(Attention Mechanism),并举例说明其在深度学习中的应用。
答案:注意力机制是一种机制,用于给予模型对不同部分输入的不同权重。在深度学习中,注意力机制常用于提升模型在处理长序列数据时的性能,如机器翻译、文本摘要等任务。
5、请解释一下卷积神经网络(CNN)在计算机视觉中的应用,并说明其优势。
答案:CNN是一种专门用于处理图像数据的神经网络结构,通过卷积层和池化层提取图像特征。它在计算机视觉任务中广泛应用,如图像分类、目标检测等,并且具有参数共享和平移不变性等优势。
6、请解释一下生成对抗网络(GAN)的原理和应用。
答案:GAN是一种由生成器和判别器组成的对抗性网络结构,用于生成逼真的数据样本。它在图像生成、图像修复等任务中取得了很好的效果。
7、请解释一下强化学习(Reinforcement Learning)的原理和应用。
答案:强化学习是一种通过与环境交互学习最优策略的机器学习方法。它在游戏领域、机器人控制等领域有广泛的应用。
8、请解释一下自监督学习(Self-Supervised Learning)的原理和优势。
答案:自监督学习是一种无需人工标注标签的学习方法,通过模型自动生成标签进行训练。它在数据标注困难的情况下有很大的优势。
9、解释一下迁移学习(Transfer Learning)的原理和应用。
答案:迁移学习是一种将在一个任务上学到的知识迁移到另一个任务上的学习方法。它在数据稀缺或新任务数据量较小时有很好的效果。
10、请解释一下模型蒸馏(Model Distillation)的原理和应用。
答案:模型蒸馏是一种通过训练一个小模型来近似一个大模型的方法。它可以减少模型的计算和存储开销,并在移动端部署时有很大的优势。
11、请解释一下LSTM(Long Short-Term Memory)模型的原理和应用场景。
答案:LSTM是一种特殊的循环神经网络结构,用于处理序列数据。它通过门控单元来学习长期依赖关系,常用于语言建模、时间序列预测等任务。
12、请解释一下BERT模型的原理和应用场景。
答案:BERT(Bidirectional Encoder Representations from Transformers)是一种预训练的语言模型,通过双向Transformer编码器来学习文本的表示。它在自然语言处理任务中取得了很好的效果,如文本分类、命名实体识别等。
13、什么是注意力机制(Attention Mechanism),并举例说明其在深度学习中的应用。
答案:注意力机制是一种机制,用于给予模型对不同部分输入的不同权重。在深度学习中,注意力机制常用于提升模型在处理长序列数据时的性能,如机器翻译、文本摘要等任务。
14、请解释一下生成对抗网络(GAN)的原理和应用。
答案:GAN是一种由生成器和判别器组成的对抗性网络结构,用于生成逼真的数据样本。它在图像生成、图像修复等任务中取得了很好的效果。
15、请解释一下卷积神经网络(CNN)在计算机视觉中的应用,并说明其优势。
答案:CNN是一种专门用于处理图像数据的神经网络结构,通过卷积层和池化层提取图像特征。它在计算机视觉任务中广泛应用,如图像分类、目标检测等,并且具有参数共享和平移不变性等优势。
16、请解释一下强化学习(Reinforcement Learning)的原理和应用。
答案:强化学习是一种通过与环境交互学习最优策略的机器学习方法。它在游戏领域、机器人控制等领域有广泛的应用。
17、请解释一下自监督学习(Self-Supervised Learning)的原理和优势。
答案:自监督学习是一种无需人工标注标签的学习方法,通过模型自动生成标签进行训练。它在数据标注困难的情况下有很大的优势。
18、请解释一下迁移学习(Transfer Learning)的原理和应用。
答案:迁移学习是一种将在一个任务上学到的知识迁移到另一个任务上的学习方法。它在数据稀缺或新任务数据量较小时有很好的效果。
19、请解释一下模型蒸馏(Model Distillation)的原理和应用。
答案:模型蒸馏是一种通过训练一个小模型来近似一个大模型的方法。它可以减少模型的计算和存储开销,并在移动端部署时有很大的优势。
20、请解释一下BERT中的Masked Language Model(MLM)任务及其作用。
答案:MLM是BERT预训练任务之一,通过在输入文本中随机mask掉一部分词汇,让模型预测这些被mask掉的词汇。
由于文章篇幅有限,不能将全部的面试题+答案解析展示出来,有需要完整面试题资料的朋友,可以扫描下方二维码免费领取哦!!! 👇👇👇👇


8932

被折叠的 条评论
为什么被折叠?



