务必收藏！大模型常见面试题汇总与详解

最新推荐文章于 2025-11-23 17:56:55 发布

原创

最新推荐文章于 2025-11-23 17:56:55 发布 · 1.7k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #prompt #人工智能 #chatgpt #agi

今日，为大家分享大模型面试的相关知识点，喜欢的话记得收藏、关注和点赞哦。

面试精选

RAG 技术体系的总体思路
- 数据预处理。
- 分块（此步骤极为关键，有时能决定模型的效果）。
- 文本向量化。
- query 向量化。
- 向量检索。
- 重排。
- 将 query 与检索内容输入 LLM，最终输出结果。
使用外挂知识库主要为了解决什么问题
- 克服遗忘问题。
- 提升回答的准确性、权威性和时效性。
- 解决通用模型在一些小众领域未涉猎的问题。
- 提高可控性和可解释性，增强模型的可信度和安全性。
如何评价 RAG 项目效果的好坏
- 针对检索环节的评估：
  - MMR（平均倒排率）：查询（或推荐请求）的排名倒数。
  - Hits Rate（命中率）：前 k 项中，包含正确信息的项的数目占比。
  - NDCG。
- 针对生成环节的评估：
  - 非量化：完整性、正确性、相关性。
  - 量化：Rouge - L。
大模型的幻觉问题、复读机问题是什么
- 幻觉问题：生成的内容无意义或不忠实于提供的源内容。
- 复读机问题：重复生成某些话语。
针对问题 4，有没有什么解决办法
- 针对幻觉问题：引入外挂知识库，加入纠偏规则，限制输出长度等。
- 针对复读机问题：
  - 丰富数据集的多样性，预处理时尽量过滤重复无意义的文本。
  - 进行同义词替换等数据增强操作。
  - 调整温度参数。
  - 进行后处理与过滤。
出现问题 4 的原因有哪些
- 针对幻觉问题：幻觉问题主要分为两大类。一类是生成结果与数据源不一致，自相矛盾。可能是训练数据和源数据不一致、数据没对齐或者编码器理解能力的缺陷和解码器策略错误导致。另一类是用户问题超出了大模型的认知范围。
- 针对复读机问题：数据质量不高，存在大量单一、重复文本，文本过长。当条件文本过长时，大模型的输出短文本会被原始长文本淹没，继续预测下一个 token 时，在模型看来条件可能仍然相似，若使用 greedy search 只选择概率最大的 token，模型极大可能会将前面已生成的短文本重新预测为概率最大的文本，如此反复。
当前主流的开源大模型是哪个，其架构具体是怎样的？
- 当前开源影响范围最广、生态建设最好的开源大模型是 Meta 的 LLaMA。它依旧采用 Transformers 架构，并做了如下改动：
  - 为提高训练稳定性，对每个子层做输入前置归一化，归一化函数为 RMSNorm（受 GPT - 3 启发）。
  - 为提升性能，用 SwiGLU 激活函数替换 ReLU 激活函数（受 PaLM 启发）。
  - 从绝对位置嵌入改为旋转嵌入（受 GPT - neo 启发）。
  - 使用 causal multi - head attention 的高效实现来减少内存占用和运行时间。
有哪几种 SFT 方法
- 全微调。
- Adapter Tuning。
- Prefix Tuning。
- Prompt Tuning。
- P - Tuning v1。
- lora。
- RLHF。
- （SFT 时，将学习率设置为预训练阶段的 10%，一般能取得不错的效果）。
什么是 lora 微调
- 在原始预训练语言模型（Pre - trained Language Model）旁边增加一个旁路，进行降维再升维的操作，以模拟所谓的 intrinsic rank。训练时固定预训练语言模型的参数，只训练降维矩阵 A 与升维矩阵 B。模型的输入输出维度不变，输出时将 BA 与预训练语言模型的参数叠加。用随机高斯分布初始化 A，用 0 矩阵初始化 B，确保训练开始时此旁路矩阵为 0 矩阵。
RAG 的检索阶段，常见的向量检索模型有哪些？

最低0.47元/天解锁文章