算法工程师（NLP / 搜索推荐 / 机器学习）面试核心要点

一、经典算法原理

（一）SVM 原理

支持向量机（SVM）作为二分类算法，旨在空间中寻找一个超平面，将不同类别的点分隔开。其核心原理是找出能使两类点中离平面最近的点（即支持向量）到平面的距离最远的超平面，以此实现分类目的。

（二）LR 逻辑回归

1. 原理剖析：逻辑回归可用于二分类及多分类问题，由 “逻辑” 和 “回归” 构成。它通过将连续的线性回归结果映射为概率值（借助 Sigmoid 等激活函数），从而实现对分类问题的处理。
2. 激活函数选择：常用 Sigmoid 函数作为激活函数，这源于伯努利的指数族分布特性。指数族分布在给定某些统计量时具有最大熵，而伯努利分布是在只有两个取值且给定期望值下熵最大的分布，符合逻辑回归的需求。
3. 交叉熵相关：从极大似然估计角度，通过计算样本的似然函数并取对数，可得到逻辑回归的损失函数形式；从 KL 散度角度，交叉熵与 KL 散度密切相关，在逻辑回归中，最小化交叉熵可使模型预测分布更接近真实分布。此外，逻辑回归的参数可初始化为 0，在反向传播时，参数能根据样本特征 x 得到有效更新。

（三）集成学习

1. Bagging 与 Boosting 差异：Bagging 的训练集通过原始集有放回选取，样例权重均匀，预测函数权重相等且可并行生成，主要降低方差；Boosting 每轮训练集不变，但样例权重依上轮分类结果调整，错误率高的样例权重更大，弱分类器权重不同，预测函数顺序生成，主要降低偏差。
2. 随机森林与 GBDT：随机森林基于 Bagging 策略，使用多棵决策树进行预测；GBDT 基于 Boosting 策略，采用 CART 回归树拟合残差，用于分类时结合对数损失函数和 sigmoid 函数得到分类结果。
3. GBDT、XGBoost、LightGBM：三者均为基于 Boosting 的集成学习算法。GBDT 是基础框