qq_28404829的博客

熵的整理信息量熵条件熵互信息相对熵交叉熵 信息量 信息量可以看成学习XXX的惊讶成度，小概率事件的信息量比大概率事件的信息量大。所以信息量内容依赖于概率分布p(x)p(x)p(x)。 如果有两个不相关的事件xxx,yyy,我们观察到两个事件同时发生的信息量为h(x,y)=h(x)+h(y)h(x,y)=h(x)+h(y)h(x,y)=h(x)+h(y)，然而，p(x,y)=p(x)∗p(y)p(x...

集成学习baggingboostingstacking 集成学习:是目前机器学习的一大热门方向,所谓集成学习简单理解就是指采用多个分类器对数据集迚行预测,从而提高整体分类器的泛化能力 bagging 通过抽样算法，抽出n个子训练集，训练n个基模型。 测试集通过n个基模型进行预测，最后投票组合出最后结果。 基模型要选强模型。 boosting 在每一步选取最合适模型，进入下一步针对上一步的错误数据...

Support Vector for Regression普通的回归函数SVR 普通的回归函数 模型 f(x)=xTβ+β0f(x)=x^T\beta+\beta_0f(x)=xTβ+β0​ 损失函数为 H(β,β0)=∑i=1NV(yi−f(xi))+λ2∣∣β∣∣2H(\beta,\beta_0)=\sum_{i=1}^NV(y_i-f(x_i))+\frac{\lambda}{2}||\be...