文章目录
1. 回归可以设置SVM?
可以,SVM是判断回归f(x)==y的时候才预测准确,计算损失函数;
回归支持向量SVR是|f(x)-y|<alpha的时候就认为预测准确了。
2. 核函数特点,SVM线性不可分怎么办?
SVM是线性分类器,但是遇到线性不可分的时候就需要映射到高维(特征空间)就线性可分了。实现这个过程就需要核函数。
核函数是在低维上进行计算,将分类效果展示在高维。
线性核函数
多项式核函数
高斯核函数(径向基核函数)
sigmoid核函数
3. 说一说Xgboost和lightGBM的区别是什么?
lightGBM是Xgboost的更高实现,微软发布的。
Xgboost处理的问题时决策树训练时特征值排序浪费时间的问题。Xgboost在训练之前先将数据进行排序,这些排序好的数据组成一个个block。在节点分裂时,需要计算每个特征值的增益,然后找到最大增益的特征做分裂。这些block使得各个特征的增益能够多线程计算。
lightGBM主要是在上述的模型下进行改进。主要改进有两点,一是在不牺牲计算速度的情况下,尽可能发挥内存的最大使用率;二是减小通信代价,提高多线程运行的速度和效率。主要计数手段是并行方案改进、基于梯度的单边检测(GOSS)、排他性特征捆绑。
4. 谈一谈决策树的实现逻辑 信息增益、信息增益率公式
决策树是最简单的分类机器学习算法,其包括根节点(样本全集)、内部节点(样本的特征)、叶节点(决策结果)。决策树执行时,根据某个属性判断根节点里面的数