MrTriste的博客

决策树一般有三个重要部分，特征选择、生成、剪枝。特征选择有这么四种标准构建分类树的话是信息增益、信息增益比、基尼指数构建回归树的话是平方误差最小化。生成基本思路是，找到最佳分裂点，将数据集分成若干部分（具体地，普通决策树是根据最佳分裂特征的取值有多少个就将数据集分成几个部分，CART是只分成两部分，所以普通决策树一般处理离散型变量，CART离散型和连续型都可以处理，而且普通决策树增长的太快，很容

CART之剪枝详解我们这里用的是代价复杂度剪枝算法。首先我们将一颗充分生长的树称为T0T_0 ，我们希望减少树的大小来防止过拟化，但又担心去掉一些节点后预测的误差会增大，那么如何达到这两个变量之间的平衡则是问题的关键，因此我们用一个变量α\alpha 来平衡，因此损失函数定义为如下： Cα(T)=C(T)+α|T|C_{\alpha}(T)=C(T)+\alpha|T| T为任意子树，C(T

决策树损失函数对Nt的理解为了避免出现过拟合的现象，我们要对决策树进行剪枝。设决策树的子节点集合为T，t是T中的一个元素，该叶节点有NtN_t个样本，其中k类的样本有NtkN_{tk}个，共K个分类 Ht(T)=−∑k=1KNtkNtlogNtkNtH_t(T)=-\sum_{k=1}^K\frac{N_{tk}}{N_t}log\frac{N_{tk}}{N_t}则损失函数可以定义为 Cα

部分内容引用自https://zybuluo.com/hanbingtao/note/5414581. Why RNN循环神经网络RNN为语言模型来建模，语言模型就是：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。RNN理论上可以往前看(往后看)任意多个词。2. RNN结构2.1 最基本的结构：xt−1,xt,xt+1" role

部分参考： http://colah.github.io/posts/2015-08-Understanding-LSTMs/1. 结构1.1 比较RNN：LSTM：其中的notation：1.2 核心思想：LSTM在原来的隐藏层上增加了一个 The key to LSTMs is the cell state, the horizont...

SVMHere I just realize a simple SVM which only supports binary classification, named C-SVC. 代码在Github FormulationLinear max γs.t.yi(wxi+b)|w|≥γmax γs.t.yi(wxi+b)|w|≥γ max\ \...

LR有两种实现方式，IRLS和GradDes ，前者是基于Newton–Raphson algorithm更新参数的，后者是梯度下降。 代码在Github上 IRLS :iteratively reweighted least squares, using Newton–Raphson algorithm to update.realized according to PRML se...

KNNKNN almost has no training process. At the very beginning, we can classify the test samples. K used to be lower than sqrt(#sample), determined by CV.代码在Github上代码：# -*- coding -*-import...