weixin_44064434的博客

机器学习面试主要涵盖统计学习、深度学习（如NLP、CV、强化学习）等基础知识。对于算法岗位，通常要求应聘者来自985或211高校，拥有硕士学历，发表过顶会论文，并具备大厂实习经验或AI创业公司实习背景。此外，参加过知名比赛（如Kaggle、阿里天池比赛等）并取得优异成绩的候选人会更具竞争力。

参考答案核心差异特性LSTM时序处理全局注意力（并行）顺序递归（串行）长程依赖自注意力直接建模依赖记忆单元梯度传播计算效率适合GPU并行，但内存复杂度O(N²)无法充分并行，复杂度O(N)位置编码显式添加（正弦/可学习）隐式通过循环状态创新点：多头注意力机制实现动态特征交互，残差连接缓解梯度消失。

尤其是指令，指令型 llm 在训练或者微调的时候，基本上都有个输出模板，这个如果前期没有给出 instruction data 说明，需要做很多的尝试，尤其是你希望生成的结果是按照一定格式给出的，需要做更多的尝试。多语言问题，paper 的内容是英文的，用户的 query 和生成的内容都是中文的，这里有个语言之间的对齐问题，尤其是可以用中文的 query embedding 来从英文的 text chunking embedding 中找到更加相似的 top-k 是个具有挑战的问题。

综合使用上述方法，可以让模型在预训练过程中学习到更多的知识和语言规律，提升其在领域任务上的性能。

序列到序列（Sequence-to-Sequence，Seq2Seq）模型是一种能将一个序列作为输入，并输出另一个序列的深度学习模型，通常由编码器（Encoder）和解码器（Decoder）两部分组成。注意力机制是一种让模型能够自动关注输入序列中不同部分的技术，其核心思想是在处理输入序列时，为每个元素分配一个权重，然后根据这些权重对元素进行加权求和。知识图谱是一种以图的形式表示知识的方法，由实体、关系和属性组成。，能够从大规模无标注数据中学习到丰富的语言表示，有效提高了语言理解、生成、翻译等任务的性能。

模型在训练集上表现很好，但在测试集和新数据上表现很差。批量归一化(BN)的计算公式如下：对图像和滤波矩阵做内积的操作就是卷积操作。其中图像是指不同的数据窗口数据；滤波矩阵是指一组固定的权重，因为每个神经元的多个权重固定，所以又可以看作一个恒定的滤波器 fliter；内积是指逐个元素相乘再求和的操作。池化是指取区域平均或者最大，即平均池化或最大池化。

本文围绕深度学习核心知识展开，涵盖优化器（SGD、Adam 等）原理及对比，过拟合与欠拟合相关剖析，归一化方法（BN、LN 等）介绍，以及神经网络基础概念与应用，为深度学习面试及学习夯实基础。