字节大模型面试，还是挺有压迫感的

最近这一两周不少公司已开启春招。

不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。

最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。

总结如下：

《大模型面试宝典》(2025版) 发布！

喜欢本文记得收藏、关注、点赞

---

球友分享：

字节面试整体感觉，还是挺有压迫感的，面试完感觉口干舌燥的，在面试效率方面是没得说的，非常高。

一面

• 拷打论文

• transformer和llama的LN有什么区别，手写RMSNorm

• FFN有什么不同，写Relu和SwiGLU

• 数据清洗流程

• 质量过滤用什么模型

• PPL公式是什么

• BERT的预训练任务、embedding

• 讲讲位置编码

• 你认为好的prompt的范式是什么

• 开放性问题：端到端的大模型和多个小模型，各自的优缺点是什么

• 手撕：两道easy

二面

• 拷打论文

• 介绍模型

• 数据清洗流程

• 采用什么样的策略、什么样的数据才会便于模型学习

• 数据配比能说下思路吗

• 主流LLM模型结构设计有什么特点

• 如何评估LLM

• 训LLM最大的困难是什么

• 前沿LLM有了解哪些

• 工具调用怎么实现

• 国内LLM有了解哪些

• LLM推理能力的天花板现在是什么程度

• 无手撕

三面

• 问硬件、硬件利用率

• 讲讲deepspeed几个阶段，分别分片什么、代价是什么

• 模型训练时间如何估计

• DP和DDP的区别

• 最多用过多少张卡

• 训练过程如何做模型监控

• 数据配比怎么量化才是一个好的方案

• 讲一下预训练数据处理

• 预训练和SFT如何评估

• encoder-decoder、encoder、decoder区别

• 讲一下文本输入大模型到输出的过程

• decoding策略

• 大模型结构有哪些变化

• 拷打论文

• 手撕：cross-attention

（完）

AI算法交流群(知识星球)来了，这是一个面向全体学生和机器学习/算法工程师/研究员的技术沟通和求职交流的平台。

在这里你可以了解最前沿AI技术资讯、Paper、大模型、多模态，算法竞赛、实战项目、获取AI算法的校招/社招准备攻略、面试题库、面试经验分享、Offer选择、内推机会、学习路线、求职答疑和海量学习资料等内容。

同时，你也可以与来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

AI算法交流群方向涉及搜广推、深度学习，机器学习，计算机视觉，知识图谱，自然语言处理，大数据，自动驾驶，机器人，大模型、多模态等多个方向。

我们会不定期开展知识星球现金立减优惠活动，加入星球前可以添加我微信：mlc2060，咨询活动详情。