LLM面试 50 问终极指南：掌握核心知识，攻克下一场面试

问题1：什么是分词，为什么它对大语言模型至关重要？ 分词涉及将文本分解为更小的单元或"标记"，如单词、子词或字符。例如，"artificial"可能被拆分为"art"、"ific"和"ial"。这一过程至关重要，因为大语言模型处理的是标记的数字表示，而非原始文本。分词使模型能够处理多种语言、管理罕见或未知词汇，并优化词汇表大小，从而提高计算效率和模型性能。

问题2：注意力机制在Transformer模型中如何运作？ 注意力机制允许大语言模型在生成或解释文本时，对序列中不同标记的重要性进行加权。它通过计算查询、键和值向量之间的相似度分数（使用点积等运算）来聚焦于相关标记。例如，在"The cat chased the mouse"这句话中，注意力帮助模型将"mouse"与"chased"联系起来。这一机制改善了上下文理解能力，使Transformer在自然语言处理任务中非常有效。

问题3：大语言模型中的上下文窗口是什么，为什么它很重要？ 上下文窗口指大语言模型一次可以处理的标记数量，它定义了模型理解或生成文本时的"记忆"。更大的窗口（如32,000个标记）使模型能够考虑更多上下文，从而提高摘要等任务的连贯性。然而，这也会增加计算成本。在实际部署大语言模型时，平衡窗口大小与效率至关重要。

问题4：在大语言模型微调中，LoRA与QLoRA有何区别？ LoRA（低秩适应）是一种微调方法，它向模型层添加低秩矩阵，从而实现高效适应，且内存开销极小。QLoRA扩展了这一方法，通过应用量化（如4位精度）进一步减少内存使用，同时保持准确性。例如，QLoRA可以在单个GPU上微调700亿参数的模型，使其成为资源受限环境的理想选择。

问题5：与贪心解码相比，波束搜索如何改善文本生成？ 在文本生成过程中，波束搜索探索多个单词序列，在每一步保留前k个候选（波束），而贪心解码则只选择最可能的单词。例如，当k=5时，这种方法通过平衡概率和多样性确保输出更连贯，尤其在机器翻译或对话生成等任务中效果显著。

问题6：温度在控制大语言模型输出方面起什么作用？ 温度是一个超参数，用于调整文本生成中标记选择的随机性。低温（如0.3）倾向于高概率标记，产生可预测的输出。高温（如1.5）通过扁平化概率分布增加多样性。将温度设置为0.8通常可以在讲故事等任务中平衡创造性和连贯性。

问题7：什么是掩码语言建模，它如何帮助预训练？ 掩码语言建模（MLM）包括在序列中隐藏随机标记，并训练模型基于上下文预测这些标记。在BERT等模型中使用的MLM促进了语言的双向理解，使模型能够掌握语义关系。这种预训练方法使大语言模型具备处理情感分析或问答等任务的能力。

问题8：什么是序列到序列模型，它们应用于哪些领域？ 序列到序列（Seq2Seq）模型将输入序列转换为输出序列，通常长度不同。它们由处理输入的编码器和生成输出的解码器组成。应用领域包括机器翻译（如英语到西班牙语）、文本摘要和聊天机器人，这些领域通常需要处理长度可变的输入和输出。