d541941799的博客

交叉熵下的模型评估，auc还是loss？

learning rate调优1）在数据集较小的情况下，nn的learning rate大于embed的learning rate模型的效果会更好，这主要是因为数据集小，模型无法收敛。而nn能更快的拟合数据集，导致效果会好一些；2）在数据充分的情况下，nn的learning rate小于embed的learning rate模型的效果会更好，在稀疏的工业场景下，embed的更新频率一般要低于nn，将embed的learning rate设置大一些会有更好的效果。同时这也是尽量让模型用embeding

1 信息增益比决策树中信息增益比大的特征优先选择2 基尼系数基决策树中基尼系数小的特征优先选择，和信息增益比刚好相反。尼系数代表了模型的不纯度，基尼系数越小，则不纯度越低，特征越好3 剪枝中的正则化参数α一般来说，α越大，则剪枝剪的越厉害，生成的最优子树相比原生决策树就越偏小。4 鲁棒性鲁棒性/抗变换性（英文：robustness）原是统计学中的一个专门术语，20世纪70年代初开始在控制...