zephyr_wang的博客

GridSearchCV与lightGBM、CatBoost

1. K折交叉验证K-fold Cross Validation，记为K-CVKFold 将所有的样例划分为 k 个组，称为折叠 (fold) ，每组数据都具有相同的大小。每一次分割会将其中的 K-1 组作为训练数据，剩下的一组用作测试数据，一共会分割K次.比如训练样本有4000个，假设K=4. 那么模型会训练4次，生成4个模型结果。每次训练的数据是3000(即3个4000/4，3=K-1)，验证数据是1000（1个4000/4)）。如果是lightGBM，那么可以将这4个模型的结果取平均，即为最终结

1 赛题介绍知识跟踪，即根据学生历史学习、答题记录，预测学生能否正确回答下一题。有3张表：（1） 学生交互记录表：时间、userid、问题id（或者课程id）、任务id、答题答案、是否回答正确、回答上一题花费的时间、是否看了上一题的解释。1亿多条记录，近40万user。（2） 问题详情表：问题id、bundle_id（哪些问题是一起呈现的）、正确答案、类型part、标签tag。13523个问题。（3） 课程表：课程id、课程类型part、课程标签tag、课程主要目的描述。418个课程。预测需要在

def self_loss(labels, preds):preds = preds.get_label()k = labels - preds# 对labels求导grad = np.where(k>0, 2*np.abs(preds)/(np.power(np.abs(labels)+np.abs(preds), 2)+0.1), -2*np.abs(preds)/(np.power(np.abs(labels)+np.abs(preds), 2)+0.1))hess = np.

SHAP (SHapley Additive exPlanations) is a game theoretic approach to explain the output of any machine learning model. It connects optimal credit allocation with local explanations using the classic Shapley values from game theory and their related extensi

文章来源：https://www.kaggle.com/c/ieee-fraud-detection/discussion/108575NAN 处理If you give np.nan to LGBM, then at each tree node split, it will split the non-NAN values and then send all the NANs to either the left child or right child depending on what’s be