reept的博客

当狄利克雷分布的变量维度K扩展到无限维时，对应地支撑空间X变成连续空间，依据 Kolmogorov 一致性定理，分布就被扩展成一个随机过程，这个过程就叫狄利克雷过程。由于无限维空间上的分布很难形式化表示，可以用迪利克雷分布的累加一致性来定义，思想就是在这个连续空间无论如何划分，每个划分都一致地符合同一个狄利克雷分布（这里的同一个是指同一个基础分布H，和相同的中心因子α），那么可以判定在连续空间X上，变量维度K扩展到的无限维狄利克雷分布成为了狄利克雷过程。设想一个K非常大的狄利克雷分布Dir(a,H)。

​ XGBOOST推导请详见《机器学习公式推导与代码实现》（鲁伟，2022年）第12章P162~P168，书中有该算法的Numpy实现，本文对照公式推导部分和算法代码部分做注解，以方便理解。算法实现部分一个重要实现是把每条数据的标签部分分成了真实标签和预测标签，并且对二者进行one-hot编码，如下面代码中 " y = cat_label_convert(y)",如果分类有3类，就有3列等等，其他有关标签的一阶导数和二阶导数部分均是在one-hot编码上进行。

本文是学习《机器学习导论》（清华大学出版社，中文版，王东，2021年）的摘录总结或笔记。

本文是学习《机器学习导论》（清华大学出版社，中文版，王东，2021年）的摘录总结或笔记。

本文是学习《机器学习导论》（清华大学出版社，王东，2021年）的摘录总结或笔记。

EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计。用Y表示观测随机变量的数据，Z表示隐随机变量的数据。Y和Z都具备，则称为完全数据，观测数据Y又称为不完全数据，假设给定观测数据Y，其概率分布是P（Y|θ），其中θ是要估计的模型参数，那么不完全数据Y的似然函数是logP(Y|θ)，假设Y和Z的联合概率分布是P（Y，Z|θ）,则完全数据的对数似然函数是logP(Y,Z|θ）。

本文是学习《机器学习导论》（清华大学出版社，王东，2021年）的总结或笔记。

CatBoost 与 XGBoost 、LightGBM是主流的三大Boosting框架，都是高效的GBDT算法工程化实现框架。CatBoost 则因长于处理类别特征而取名为CatBoost(Categorical + Boosting)。算法的理论特色，包括用于处理类别变量的目标变量统计和排序提升算法。CatBoost算法论文。原文结构如下：1、Introduction(简介)2、Background（算法提出背景）3、Categary Features（处理类别特征）

SMO算法的基本想法是：如果所有变量的解都满足此最优化问题的KKT条件，那么此时的所有变量就对应这个最优化问题的一个解。否则，选择这些变量中的两个变量，固定其他变量，针对这两个变量构建一个二次规划问题。这样的凸二次规划问题，具有全局最优解，有许多优化算法可以用于这一问题的求解,但是当样本容量很大时，很多算法的时间复杂度和空间复杂度都会迅速增加，以致无法使用。当遍历完间隔边界样本集后，再次回到遍历整个样本集中寻找，即在整个样本集与间隔边界样本集上来回切换，寻找违反KKT条件的。

式的极值，得到未分裂前的最优权重和最优损失函数值，w1 和 L1, 然后继续分裂(分裂成w2,w3)，按某个特征某个值分裂后 的 叶子（预定的节点数）结点的最优权重（一般为二分树）和对应损失函数，就是求分裂后的节点的。,前者 可以裂解为叶子结点所包含样本的一阶偏导数（对应于t-1 步模型预测值的偏导数）累加之和，后者可以理解为相应的二阶偏导数之和，对应于待分裂的某个结点的集合而言，两者均为常数。因为前 t-1 棵树的结构已确定，所以前 t-1 棵树的复杂度之和也可以表示为常数，所以上式后面可分为。