木柘的博客

  因为自己是小白，就更想要去了解自己所学习的机器学习算法在实际中的应用。能够看到自己所学到的东西有所用处是最值得的。 一、学习路径   所以自己算是边打边学了，希望能够以赛促学。 二、比赛内容 三、具体比赛课程安排 四、参考资料推荐 五、总结   一个优秀的模型和算法都不是凭空而来的，所以打好基础非常重要。 ...

Kaggle账号注册与竞赛入门 1.Kaggle上的比赛类型 数据挖掘 ==> tabular data, regression 图像分类（包括视频） ==> image data NLP（自然语言处理） ==> nlp, text data 初级比赛 ==> Getting Started 中级比赛 ==> Playground 顶级比赛 ==> F...

Kaggle账号注册以及本地化Jupyter Notebook 1、Kaggle账号注册 详见上一次打卡 （我更新了一下自己的头像，顺带蹭了一波老外的资源） 2、安装Anaconda3 详见Python训练营安装Anaconda3 Windows安装一直next基本傻瓜操作，比Linux下安装简单。 3、本地化设置Jupyter Notebook 修改Notebook默认工作目录，采...

比赛赛题的思路（波士顿房价预测） 1、如何看赛题？ Competition Description ==> 赛题描述 Practice Skills ==> 练习的技能 比如，房价是连续值，不能分类只能够回归。 2、看赛题的什么内容？ 看数据集的描述，包括描述、特征 3、看到数据之后才能做出判断 把数据下载下来以及查看具体数据。 4、思路分享 5、读入CS...

房价的数据预处理之探索性数据分析 任务简介： 数据的读取与显示、查看数据的缺失情况、查看数据的类型情况、查看特征之间的相关性。 打卡详情： 读取train.csv文件并且显示后五行，自行查阅pandas中的两种数据结构分别是什么？并做出总结（文字）。Pandas的可视化函数有哪些？（文字），person系数为什么可以用来衡量数据之间的相关性？（图文并茂的提交），如何利用pandas来显示数据信息...

构建基础baseline **任务名称：**构建baseline **任务简介：**完成一个基本的baseline提交到kaggle上然后有成绩 详细说明： 本节将会向大家介绍利用python数据清洗和数据预处理以及模型的构建，拟合数据，进行对test数据集进行预测，提交到成绩有排名。会先从理论讲起，再到实际的的一个操作。 数据清洗和数据处理是比赛以及任何一种机器学习模型的必须要经过的过程，而且...

一、缺失值的处理、数据标准化、EDA 使用pandas_Profiling实现对数据的EDA。 看数据的统计和数据的分布 统计分析，相关性图，Pearson系数（单变量）、Spearman系数（多变量） 缺失值的处理： （1）填充（以目标为导向，通过提交反馈选择用什么填充） train.isnull() ==> 返回dataframe （train.isnull().sum() =...

特征工程知识点的讲解以及特征工程对成绩的提高 任务简介：运用特征工程知识对成绩提高到top80%，描述一下pipline对特征组合的方便之处，还有哪些方法可以对成绩有所提高？ 详细说明：由于特征工程对于后续成绩的提高有着奇特的效果，所以在两次课中会运用特征组合以及管道知识对数据进行处理和特征的组合，希望大家不要完全按照我的方法来进行特征组合，这个时候大家自己要尝试不同的组合，对特征的重要度也需要...

模型的集成对成绩的提高 任务简介：运用模型的集成知识对成绩提高到top20% 作业（详解)：截图排名top20%及以上，描述一下模型的叠加对结果的影响，还有哪些方法可以对成绩有所提高？之前的模型叠加的成绩不是很好，然后自己运用所学到的知识把排名提高到top10%，参考老师提供的代码方案，截图提交。 一、集成学习介绍：基础集成技术 1、最大投票（Max Voting）法 2、平均（Aver...

预测未来销售：赛题解读以及数据下载导入、赛题的理解分析 详细说明： 本节将会赛题的背景资料的了解以及数据文件的分布以及数据的下载以及本地导入，赛题的理解分析通过对构建自己对构建特征来说有一个比较大的作用，针对于数据的解读来说比较重要的一环。 数据的解读包括数据的EDA、数据的可视化，数据的类型、数据的文件分布、数据的特征组合的一些猜测都在这里面会涉及到。 一、赛题的数据 数据的文件以及数据的...

1、集成的问题 2、lightgbm为什么很低 LightGBM使用有要求，基于梯度树，适用于特征少数据量大。 3、get_dummies和LabelEncoder的问题 （1）get_dummies可能会造成维度灾难； （2）LabelEncoder减小维度。 4、相关性问题 （1）对于feature_importance进行特征选择的时候我们一般选择特征为正相关的； （2）对于高相...