jia_shun_L的博客

https://baijiahao.baidu.com/s?id=1593718971327680624&wfr=spider&for=pc

模型融合（Model Ensemble）常见的模型融合方法有：Bagging、Boosting、Stacking、Blending。(3-1):BaggingBagging 将多个模型，也就是多个基学习器的预测结果进行简单的加权平均或者投票。它的好处是可以并行地训练基学习器。Random Forest就用到了Bagging的思想。(3-2): BoostingBoosting 的思想有点...

1 保持方法把原有数据集划分成训练集以及测试集（验证集）在训练集上训练之后在测试集上评估，局限在于数据集太少，训练模型欠拟合以及测试集估计不准确2 k-折交叉验证将数据集划分为k组，k-1作为训练集，1作为测试集，k轮循环之后k的模型的测试结果的误差平均值作为评价模型的性能指标。（类似于模型融合的数据集角度）优点：信息充分利用使用同样的算法，计算方便精度为平均值，精度提升留一...

1.均方误差MSE（L2）2.均方根误差RMSE3.平均绝对误差MAE（L1）4.比较MSE对应于平均数，受异常点的影响较大，使用固定的学习率也有效收敛，损失的梯度随损失的增大而增大，在损失趋于0时则会减少，因此结果更加精准，导数连续，求解效率较高。MAE对应于中位数，对异常点的鲁棒性较好，损失梯度不变，不利于学习，为了解决这个问题，我们可以使用变化的学习率，在损失接近最小值的...

1.非均衡分类问题不同类别的分类代价不相等。重点：分清楚那个是positive（yes） negative（no）例如还贷预测模型。垃圾邮件识别中，我们希望识别出所有信用坏的用户以及重要邮件（Negative)，所以希望选精确率高的模型。例如识别吸毒模型，肿瘤识别模型中，我们希望不漏判吸毒者以及阳性肿瘤患者（positive），所以选召回率高的模型。2.ROC曲线复习混淆矩阵横坐标...

混淆矩阵是评判模结果的指标，属于模型评估的一部分。只适用于分类模型，判断分类器的性能。比如分类树，逻辑回归。以二分类为例，判断样本结果是positive以及negative。一级指标：TN TP FN FP混淆矩阵如下：ps：图中P和N 是指预测值二级指标：三级指标其中P指精确率，R指召回率F1-Score指标综合R和P，取值范围从0-1，1代表模型输出最好，0代表最...