大模型面经 | 春招、秋招算法面试常考八股文附答案（一）

最新推荐文章于 2025-05-23 10:37:00 发布
原创 最新推荐文章于 2025-05-23 10:37:00 发布 · 870 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#面试 #职场和发展 #人工智能 #大模型 #自然语言处理 #算法 #深度学习

大家好，我是皮先生！！

今天给大家分享一些关于大模型面试常见的面试题，希望对大家的面试有所帮助。

目录

1.在Transformer模型中，为什么在计算QK内积之后，softmax之前要除以根号dk?

2.MHA、MQA和GQA的区别

3.DeepSeek中的MLA(多头潜在注意力)

4.KV-Cache为什么能加速推理?

5.为什么现在主流的LLM模型基本都是Decoder-only的结构?

6.如何缓解LLMs复读机问题？

1.在Transformer模型中，为什么在计算QK内积之后，softmax之前要除以根号dk?

dk越大，导致qk点积的方差越大，导致向量元素值之间的差距变大，导致softmax输出出现某个值接近1，其他值接近0，从而导致梯度消失的问题。除以根号dk是为了将q、k点积后的结果归一化成均值为0，方差为1的向量，使得学习过程更加稳定。

2.MHA、MQA和GQA的区别

在MHA中，每个头有自己单独的 key-value 对。

（1）MHA的优点：多头注意力使用多个维度较低的子空间分别进行学习。一般来说，相比单头的情况，多个头能够分别关注到不同的特征，增强了表达能力。

（2）MHA的缺点：训练过程中，不会显著影响训练过程，训练速度不变，会引起非常细微的模型效果损失；推理过程中，反复加载巨大的KV cache，导致内存开销大。

在MQA中所有的头之间共享同一份 key-value 对，从而大大减少 Key 和 Value 矩阵的参数量。虽然可以提升推理的速度，但是会带来精度上的损失。

在GQA中，会对attention进行分组操作，quer

最低0.47元/天 解锁文章

200万优质内容无限畅学
大模型最全八股和答案（中）
强化学习曾小健
11-12 537
位置编码是一种用于在序列数据中为每个位置添加位置信息的技术。在自然语言处理中，位置编码通常用于处理文本序列。由于传统的神经网络无法直接捕捉输入序列中的位置信息，位置编码的引入可以帮助模型更好地理解和处理序列数据。在Transformer模型中，位置编码通过为输入序列中的每个位置分配一个固定的向量来实现。这些向量会与输入序列中的词向量相加，以融合位置信息。位置编码的设计目的是使模型能够区分不同位置的输入。在Transformer模型中，使用了一种特殊的位置编码方式，即正弦和余弦函数的组合。
大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题二）
皮先生的博客
04-09 1069
在使用RAG时候，有哪些优化策略?
大模型算法八股
m0_56243424的博客
07-08 912
BART和T5使用encoder-decoder架构，适合于翻译和摘要等任务;GPT和LLaMA主要采用 decoder-only架构，优于生成任务;PaLM的架构虽然基于Transformer，但其具体设计旨在通过大规模训练提升模型的通用性和效率。
面试面经｜2025最新大模型面试八股含答案，非常详细收藏我这一篇就够了
最新发布
lyy2017175913的博客
05-23 1851
Transformer模型的核心机制是自注意力（Self-Attention），它通过计算查询（Q）、键（K）和值（V）之间的相关性来捕捉输入序列中的依赖关系。为了优化训练过程，Transformer采用了缩放点积注意力（Scaled Dot-Product Attention），通过除以根号d_k来防止梯度消失。此外，Transformer使用层归一化（Layer Norm）而非批归一化（Batch Norm），因为层归一化更适合处理序列数据，能够保留同一序列内不同位置的信息。BERT模型引入了位置嵌入（
面试面经｜大模型面试八股含答案，非常详细收藏我这一篇就够了
2401_84495872的博客
10-22 4115
前面在4.中提到了Lora，我也曾在别的回答中提过Lora真是本世纪最美女名，因为真的是个人微调的一大福音。如果你想细致了解，可以看看这篇CW不要無聊的風格：当红炸子鸡 LoRA，是当代微调 LLMs 的正确姿势？我在这里也具体来讲讲：首先肯定是要搬上来这张图的：
大模型面试八股
zenRRan的博客
07-16 1309
来自：包包算法笔记进NLP群—>加入NLP交流群人人讨厌八股文，人人都问八股文。八股文主要考察原理理解，被痛恨的原因就是实际工作用不上，其实不满足于当一个碉堡侠的时候，八股也就不是八股了，更多的是原理的谙熟于心。很多也算不上八股，更多是经验的交流吧。现在大模型面试的问题还处在一个蓝海阶段，很多面试官自己也问不出太有深度的问题，整理以下仅供参考。基础知识1.transformer 八股文2.a...
大模型面试基础+八股文【持续更新中】
qq_35166730的博客
08-14 5655
来源：https://redian.news/wxnews/488452一些参考： https://zhuanlan.zhihu.com/p/643560888 https://zhuanlan.zhihu.com/p/643829565 https://zhuanlan.zhihu.com/p/558286175 https://zhuanlan.zhihu.com/p/632102048 https://github.com/5663015/LLMs_train论文《Finetuned Language
大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题三）
皮先生的博客
04-10 1377
在使用RAG时候，有哪些优化策略?
大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题一）
皮先生的博客
04-09 1148
今天给大家分享一些关于大模型面试常见的RAG（检索增强生成）相关面试题，希望对大家的面试有所帮助。
大模型面经 | 春招、秋招算法面试常考八股文附答案（三）
皮先生的博客
04-21 993
大模型面经 | 春招、秋招算法面试常考八股文附答案（三），非常详细，建议收藏！！
【机器学习】大模型面试八股含答案
fengdu78的博客
10-12 7040
原作者：花甘者浅狐感谢这位朋友辛苦整理，访问知乎原文https://zhuanlan.zhihu.com/p/643560888基础知识1.transformer 八股文a.Self-Attention的表达式 b.为什么上面那个公式要对QK进行scaling scaling后进行softmax操作可以使得输入的数据的分布变得更好，你可以想象下softmax的公式，数值会进入敏感区间，防止梯度消失...
【NLP】大模型最全八股和答案（下）
fengdu78的博客
11-14 1208
前文：大模型最全八股八股和答案（上）大模型最全八股和答案（中）面试题继续，问题比答案有含金量。目录[x]大模型（LLMs）基础面[x] 1. 目前 主流的开源模型体系 有哪些？[x] 2. prefix LM 和 causal LM 区别是什么？[x] 3. 涌现能力是啥原因？[x] 4. 大模型LLM的架构介绍？[x]大模型（LLMs）进阶面[x] 1. llama 输入句子长度理论上可以无...
大模型面试八股文含答案
AI前沿技术的分享！
02-22 919
大模型面试八股文含答案
2024最新大模型面试常考八股文汇总（附答案），让你offer手到擒来！
2401_85328934的博客
08-13 1403
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；首先，一定要仔细阅读题目，理解清楚每个要求。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
大模型内容分享(十六)：大模型最全八股(一)
之乎者也·的博客
01-09 904
LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。具体的架构可以有多种选择，以下是一种常见的大模型LLM的架构介绍：Transformer架构：大模型LLM常使用Transformer架构，它是一种基于自注意力机制的序列模型。Transformer架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。
最新版AI大模型面试八股文
weixin_42997698的博客
03-03 2252
最新版AI大模型面试八股文
25年大模型面试必问八股文，背完通过率98%
lyy2017175913的博客
02-18 930
LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。Transformer架构：大模型LLM常使用Transformer架构，它是一种基于自注意力机制的序列模型。Transformer架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。自注意力机制（Self-Attention）：自注意力机制是Transformer架构的核心组件之一。
2025最新大模型算法岗面试八股文【基础篇100题】，金三银四涨薪必备
2401_85375151的博客
02-11 1627
最近秋招正在如火如荼地进行中，看到很多人的简历上都包含大模型相关的工作，各家大厂和初创都很舍得给钱，动辄百万年包也变得不再稀奇。因此在大模型纵横的这个时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。本文总结了100道大模型算法岗常见的面试题（含答案），篇幅限制，部分内容如下。一、基础篇1、目前主流的开源模型体系有哪些？Transformer体系：由Google提出的Transformer 模型及其变体，如BERT、GPT 等。PyTorch Lightning：一个基于PyTorc
2024春招必读：全面指南解读八股文面试技巧
资源摘要信息:"2024最强春招八股文（一篇就够了）" 知识点: 1. 春季招聘概述：春季招聘（春招）通常是指在春季期间企业对新员工的招聘活动，尤指对于应届大学生的招聘。这个阶段是许多企业补充新鲜血液、扩大团队...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值