Kaggle正式赛首战top3%分享，小白献给机器学习新手

最新推荐文章于 2025-05-30 14:05:25 发布

原创

最新推荐文章于 2025-05-30 14:05:25 发布 · 4.5k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#kaggle #机器学习 #xgboost #lightgbm

本文分享作者在Kaggle instacart比赛中首次进入top3%的经验，强调特征工程、模型调参和论坛资源的重要性。通过翻译高分代码学习R语言，利用word2vec和论文提升特征，关注论坛获取关键代码，以及融合模型提高排名。同时，作者提醒参赛者要保持诚信，避免多账号行为。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

8月15号结束的instacart kaggle比赛首战 top3% 69名。代码我就不贴了，第二第三的代码论坛里都找得到。我这里主要讲方法和注意事项：

以我不深的比赛经历，我觉得kaggle主要是一个靠特征工程和模型调参，和模型融合的比赛

第一论坛和kernel里一般能够找到开源代码，先从得分最好的代码开始起步。我当时就是找到了得分最好的R代码，但当时我并不会R语言，所以我尝试从头到尾翻译成python。但是翻译着翻译着就学会R了，后来就懒得改直接用R做特征工程了。当时运行这份代码就直接到了top14%，当然比赛结束还有一个月，大家也没有认真。

第二，可以尝试论坛里别人的介绍的方法，kaggle可能和国内的比赛很不一样，因为外国人非常喜欢分享，可能非常核心的东西也会分享，我当时通过着两篇论坛文章加了非常多的特征提升很大：第一篇是关于word2vec的，第二篇是 How many features do you make？这里我获得了大量特征，这是我比别人的特征工程做的好原因之一。另外还有一篇关于KDD特征工程的论文，我记得那时我经常一边看论文一边用R做特征工程。

第三，还是时刻关注论坛真的非常重要，其实instacart这个比赛是很有水平的，关注数学原理，其中F1优化本来是比赛的核心，但是在比赛快2周结束时，一个德国人把这个核心代码给开源了。导致前30到前200名差距只有特征工程和模型调参，融合。我当时名次直接升到90多，后来通过特征工程到了52名

第四这个比赛快结束一周时，我记得当时我是52名，53名的人把自己的整个项目给开源了。而且实际上53名的代码的GBDT算法可以到更好的分数，我一开始都没有关注他的算法，导致名次一直退到150名，比赛结束快2天时，我发现融合他的GBDT模型，分数能大幅提升。于是我融合了他的GBDT模型，然后调整融合比率，最好的时候升到40多名。但比赛快结束的时候下降到69。因为我没有GPU环境，所以最好配置好GPU环境再用自己的特征运行53名的GBDT已经来不及了。

第五千万不要多账号，我