机器学习算法/模型——阶段总结（3）——面试篇

光学不练也没什么用，而且容易产生很大的理解偏差，知识必须在题目中获得总结和升华。

问题记录

问题框架(过后删)

具体算法模型相关

GB（Gradient Boosting）梯度提升
GBM （Gradient Boosting Machine）
GBDT（Gradient Boosting Decision Tree）

1. 集成学习： GBDT、XGBoost 和 bagging、boosting
2. GBDT的变后续：XGBoost和LightGBM

机器学习模型过程

1. 特种工程（特征选择）：Wrapper Methods、Embedded Methods

问题

1. 逻辑回归与线性回归是什么关系？

逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种（特殊的）广义线性模型（generalized linear model）。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。 因此与线性回归有很多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。可以说，逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题。

注：广义线性模型，简称GLM。 该模型允许因变量的偏差分布有除了正态分布之外的其它分布。

2. 支持向量机的特别之处？

在以概率论为核心的机器学习中，支持向量机（SVM）是一种较为特殊的方法。
最大的差异在于，SVM其成立的基础并非做出极大似然估计，而是寻求一个分界线（本文使用“分界线”这一术语代指SVM Decision Boundary Hyper-plane）对数据集实现“最大分割间隔”。

3. LR和SVM的联系与区别 ？

   LR和SVM的联系与区别

注意一个点：生成模型和判别模型的区别

牛客网框架

参考：

机器学习与深度学习核心知识点总结 写在校园招聘即将开始时

机器学习与深度学习常见面试题（上）
机器学习与深度学习常见面试题（下）