niukai1768的专栏

Loss Function 理论基础：中心极限定理 误差符合高斯分布 - 公式推导 解释了为什么损失函数是这个形式 模型求解 意义：理论上推导出模型可解，但对矩阵求导，计算量很大，实际不采用 对目标函数求梯度 使梯度为0 为什么能添加扰动能防过拟合？ 通过实践可得，当n维特征向量映射成更高维的特征时，最后求解得到的参数值都很大，因此希望在原los...

模型定义 特征 x：m*n label y：m*1 不同的x, 参数对应一个不同的二项分布 这些二项分布可以通过统计求得 改进 不按照x是否相同，来统计其二项分布的分布律，而每一个样本点都看做一个独立二项分布 这样的特点就是这样的二项分布只有俩种，分别为 并且能合并表示为 目标函数——交叉熵 小目标：对于每一个样本点，分别求出一个分布，使得俩者分布差距最小 模...

cost function的形式 cost function的推导满足以下过程： 1. 认为error 满足某个分布，写出样本点xi的样本的error 2. 认为样本点是相互独立的，推导出其对数似然函数 3. 求偏导，是得导函数为0，分离常数部分，得到误差的表达形式 e.g. 线性回归中关于MSE的推导：https://nk2000.github.io/2018/05/16/Linea...

回顾 决策树的分类能力由叶子节点上的条件概率分布决定 决策树的内路径只决定了特征空间的划分情况，即给定一个样本xi，最终会落在哪个节点 思考： 提升的定义 提升的框架 思路：在构建好的k-1棵决策树的基础上，构建第k棵决策树 符号说明： 这里需要解释一下俩棵决策树的加权和的含义 权值a1,a2取值不同，首先决定了不同的特征空间的划分，统计后得到不同的条件...