Raki_J的博客

多多少少看了一些别人的面经，发现基本上都是非常相似的，说明大厂对招聘的要求也是高度一致，我分为以下几个方面进行分析总结 基础 数学基础 首当其冲是数学基础，这是一切算法的基础： 高数，线代，概率论（基础级别） 矩阵论，随机过程，高级概率论（进阶） 泛函分析，流形（理论机器学习级别，花书里面多次提到过） 机器学习基础 机器学习算法 只提几个出现率最高的：（NLP视角） HMM ，CRF，SVM，XGBoost，TF-IDF，LDA，GBDT，bagging，boosting，stacking，LR CRF为什

Transformer： Q：Transformer如何解决梯度消失问题的? A：残差连接 Q：为何Transformer中使用Layer Normalization而不用Batch Normalization? A：BatchNorm是对一个batch-size样本内的每个特征做归一化，LayerNorm是对每个样本的所有特征做归一化。 形象点来说，假设有一个二维矩阵。行为batch-size，列为样本特征。那么BN就是竖着归一化，LN就是横着归一化。 它们的出发点都是让该层参数稳定下来，避免梯度