杨佳佳的博客

通过上述分析可以看出，XGBoost通过采用泰勒公式进行二阶展开，有效地将复杂的非线性优化问题简化为一系列局部最优解的选择过程。这种方法不仅提高了计算效率，还增强了模型泛化能力。此外，结合其他特性如正则化和支持并行计算，XGBoost成为了一个非常强大的工具，适用于各种规模的数据集和不同的应用场景。

梯度下降法的基本思想是沿着目标函数当前点的负梯度方向进行搜索，这是因为梯度指向了函数增长最快的方向，而其反方向则对应着函数减少最快的方向。2. **计算梯度**：对于给定的 \(\theta_t\)，计算梯度 \(\nabla J(\theta_t)\)。假设我们有一个可微分的目标函数 \(J(\theta)\)，其中 \(\theta\) 是我们要优化的参数向量。这种方法可以获得较为精确的梯度估计，但是当数据集很大时，每次迭代都需要较长的时间，并且可能需要大量的内存来存储所有样本。

GBDT（Gradient Boosting Decision Tree，梯度提升决策树）是一种集成学习方法，主要用于回归和分类任务。它的基本思想是通过迭代地构建一系列弱学习器（通常是决策树），并将这些弱学习器组合成一个强学习器。下面详细介绍GBDT的原理及其公式推导过程。

Softmax函数在机器学习特别是深度学习中是一个非常常见的组件。它被广泛应用于多分类问题中，特别是在神经网络的最后一层作为输出激活函数。Softmax函数的主要作用是将一组数值转换成概率分布，这样每个类别的输出都可以被解释为属于该类的概率。在深度学习出现之前，传统的机器学习方法就已经开始使用类似的逻辑回归（Logistic Regression）来解决二分类问题。但是当面对多分类问题时，简单的逻辑回归就显得力不从心了。

逻辑回归是一种基于 Sigmoid 函数的概率模型，用于解决分类问题。它通过最小化交叉熵损失函数来学习最优的权重向量和偏置项。通过梯度下降法不断更新模型参数，使得模型能够更好地拟合训练数据，并用于预测新数据的类别。

在监督问题中，混淆矩阵可用作模型评估，一般常见于分类问题。基本模型如图横向代表真实值，纵向代表预测值。真正例指预测为正实际也为正的值，假负例是预测为负实际为正的值，假正例是预测为正实际为负的值，真负例指预测为负实际为负的值。由此引出了模型效果评估的评价指标准确率(Accuracy)=提取出的正确样本数/总样本数召回率(Recall)=正确的正例样本数/样本中的正例样本数——...

一、线性回归的拟合情况 欠拟合：模型在训练过程中，模型在训练集和测试集中的表现差，即模型的泛化能力弱。 过拟合：模型在训练过程中，模型在训练集上变现非常好但在测试集上表现差，即模型的泛化能力太强。 从左上往右下，依次第一幅图是原始样本分布，第二幅图明显过度迎合数据，已经过拟合了，第三幅图明显偏移数据过多是欠拟合，最后一幅图训练比较少维度不...

回归模型的判断标准一般有三种： MSE(误差平方和的均值，又称均方差)，误差越小即越趋近于0表示模型的效果也就是对数据的拟合性越好。 m是指m个样本，i指的是向量y第i个维度的值 RMSE(均方差的算术平方根), 作用与MSE相同 R^2，取值范围是，其值越大越好，越接近1表示模型拟合效果越好，当预...

一、什么是线性回归 回归算法是一种有监督算法。 回归算法可以看作是用来建立“解释”变量(自变量X)和因变量(Y)之间的关系。从机器学习的角度讲，就是构建一个算法模型来做属性(X)与标签(Y)之间的映射关系，在算法的学习过程中，试图寻找一个函数使得参数的拟合性最好。 回归算法中算法的最终结果是一个连续的数据值，输入值(属性值)是一个d维度的属性/数值向...