yike330的博客

背景在评估实验效果时，在非随机性实验中，相关性不等于因果性，存在各种偏差。例1：进行一项调查，调查内容是去不去医院是否会影响个人健康，因此向医院里的各类人员发放问卷并得出其健康状况，最后发现去医院不利于个人健康。样本选择偏差：sample selection bias例2：评估一项污染防治政策的政策效果，选择期初污染程度基本一致的地区作为样本，并根据各地区意愿决定其是否实施该项政策，3年后政策实施地的污染指标明显低于未实施该政策的地区，结论是这项政策有效。自选择偏差：self-select

数据方面欠采样从多数样本中抽样，控制比例。baggingboosting首先我们会使用全部的正样本和从负例候选集中随机采样一部分负样本（这里假如是100条）去训练第一轮分类器；然后用第一轮分类器去预测负例候选集剩余的9900条数据，把9900条负例中预测为正例的样本（也就是预测错误的样本）再随机采样100条和第一轮训练的数据放到一起去训练第二轮分类器；同样的方法用第二轮分类器去预测负例候选集剩余的9800条数据，直到训练的第N轮分类器可以全部识别负例候选集，这就是使用迭代预分类的方式进行欠采

BP反向传播以下内容总结自李宏毅深度学习https://datawhalechina.github.io/leeml-notes/#/chapter14/chapter14zzz代表每一层的线性结果，aaa代表zzz激活后的结果。前向传播∂z∂w\frac{\partial{z}}{\partial{w}}∂w∂z​描述加法器输出与输入之间的关系∂z∂w=x\frac{\partial{z}}{\partial{w}}=x∂w∂z​=x反向传播∂L∂Z\frac{\partial{L}}{\p

平方损失函数L(yi,f(xi))=∑i=1n(yi−f(xi))2L(y_i, f(x_i))=\sum_{i=1}^{n}(y_i-f(x_i))^2L(yi​,f(xi​))=∑i=1n​(yi​−f(xi​))2适用于回归预测延伸MSE（Mean Square Error）MSE=LnMSE = \frac{L}{n}MSE=nL​绝对值损失函数L(yi,f(xi))=∣yi−f(xi)∣L(y_i, f(x_i))=|y_i-f(x_i)|L(yi​,f(xi​))=∣yi​−f(x

LightGBM简介LightGBM是GBDT算法地实现框架之一，设计的初衷是并行、高效。特点是训练速度快、内存消耗小、可并行运算、支持类别变量。LightGBM优化点直方图算法不同于XGBoost的预排序，LightGBM将区间离散化，划分为桶（bin），确定每个样本属于哪个桶。在遍历数据找最优划分点时，只需要遍历每个桶即可。XGBoost预排序算法每遍历一个特征值就需要计算一次分裂的增益，而直方图算法只需要计算kkk次（kkk可以认为是常数），时间复杂度从O(#data∗#feature)O

概念XGBoost即Extreme Gredient Boosting，是一种基于CART决策树的boosting算法相比GBDT来说优化迭代的方式不同。GBDT使用损失函数的负梯度近似残差来训练下一棵树；原理优化方式设XGBoost模型为 y^i=∑k=1Kfk(xi)\hat y_i=\sum_{k=1}^Kf_k(x_i)y^​i​=∑k=1K​fk​(xi​)则第 ttt 次优化的损失函数为L=∑i=1nL(yi,Ft−1(xi)+ft(xi))+∑k=1K(γTk+12λ∣∣wk∣∣

一、概念由训练数据构建一组基分类器（base classifier），将每个基分类器的预测结果进行组合（ensemble）得到最终结果。为什么组合分类器的效果好于基分类器？设基分类器的误差为ϵ\epsilonϵ，对NNN个组合分类器来说，只有超过一半以上基分类器都预测错误时，最终预测结果才错误。当基分类器互相独立时，组合分类器的错误率为∑i=N2NCNiϵi(1−ϵ)N−i\sum_{i=\frac{N}{2}}^NC_N^i\epsilon^i(1-\epsilon)^{N-i}∑i=2N​N​C

一、概念在树的结点处按照属性的不同条件对样本进行划分。二、决策树的生成1. 特征的选择：局部最优选择最优属性的最优划分。度量结点的不确定程度：熵、基尼系数、分类错误率。结点越不纯，结点处类分布越平衡，值越大。Entropy(t)=−∑k=0Kp(k∣t)log(p(k∣t))Entropy(t) = -\sum_{k=0}^K p(k|t)log(p(k|t))Entropy(t)=−∑k=0K​p(k∣t)log(p(k∣t))Gini(t)=1−∑k=0K[p(k∣t)]2Gini(t)

SVM实现SVM可视化比较