ikhui7的博客

支持向量回归(SVR, Support Vector Regression)是一种监督学习算法，用于预测离散值，背后的基本思想是找到最佳拟合线，即点数最多的超平面。SVR的主要优点之一是计算复杂度不依赖于输入变量的维数，此外，它还具有出色的泛化能力，具有很高的预测精度。SVR用于回归问题，具体原理的解释可下载原文或在微信公众号、优快云和B站等网站检索学习。笔者认为，对于代理模型/机器学习算法理论的学习应配合具体案例代码。

LightGBM (Light Gradient Boosting Machine)是微软[1]于2017年首次发布的一种基于决策树的梯度增强方法，是另一种梯度增强方法。与其他boosting方法的关键区别在于它是基于叶子进行树的分裂，即它可以通过关键点位检测和停计算（其他boosting算法是基于深度或基于级别的）,如下图所示。但是它不支持字符串类型的数据，需要使用特殊算法拆分分类数据，因为必须输入整数值（例如索引）而不是列的字符串名称。

XGBoost(eXtreme Gradient Boosting)[1]是经过优化的分布式梯度提升库，旨在高效、灵活且可移植，是Boosting算法的其中一种，其思想是将许多弱分类器集成在一起，形成一个强分类器。它可以很好地解决工业界大规模数据的问题。XGBoost可用于分类和回归问题，具体原理的解释可下载原文或在微信公众号、优快云和B站等网站检索学习。笔者认为，对于机器学习/深度学习算法理论的学习应配合具体案例代码。

反向传播训练多层神经网络原理BP神经网络训练流程参考文献BP神经网络训练流程本文描述了采用反向传播算法的多层神经网络过程。为了说明这一过程，我们使用了具有两个输入和一个输出的三层神经网络，如下图所示:每个神经元由两个单元组成。第一单元是加权系数和输入信号的乘积。第二个单元实现非线性函数，称为神经元激活函数。信号e为加法器输出信号，y = f(e)为非线性元件输出信号。信号y也是神经元的输出...