机器学习简介

机器学习是什么？

个人理解 从大数据的角度出发，机器学习就是运用统计学、概率论、数学、计算机科学等相关领域的知识，利用算法模型从数据中发现知识的过程，说的高级一点，就是从数据视角窥探世界的奥秘。

图片来源： https://zhuanlan.zhihu.com/p/34447991

 

机器学习（or 数据挖掘）的步骤

1. 收集数据：网络爬虫、使用公开的数据源等；
2. 准备数据：前期数据清洗工作，涉及数据类型转换等；
3. 分析数据：人工分析得到的数据，确保数据中没有垃圾数据，涉及异常值、缺失值处理等；
4. 特征工程：特征的好坏决定了机器学习的上限；
5. 训练模型：将前两步得到的格式化数据输入到算法，筛选出最终的算法模型；
6. 性能评估：评估模型性能，参数优化；
7. 模型融合：一般来说，模型融合后都能使得效果有一定提升，而且效果很好。

注：可以认为，机器学习方法在大型数据库中的应用称为数据挖掘。

 

重要的国际学术会议（参考：西瓜书P17）

ICML

NIPS

COLT

ECML

ACML

 

机器学习思维导图

• 众所周知，机器学习可以简单的分为两类——监督学习+无监督学习；
• 其中监督学习又可以分为回归+分类+标注；无监督学习主要是聚类+降维。

切记：机器学习的重中之重当然是算法，但是模型选择、性能评估同样至关重要，这一切的基础则是优质的经过数据清洗之后的数据！

以下内容作为“盗图”的一点点补充：

1. 数据来源 亦可以是公开的数据集或网络爬虫；
2. 数据类型 标称型、数值型；
3. 特征工程 还涉及特征组合、数据降维（甚至是升维等操作）；
4. 缺失值 缺失值的处理需要根据具体的业务场景，通常不考虑删除，填充0值或均值也不会是一个很好的选择；
5. 特征选择 集成学习、逻辑回归亦可；
6. 距离度量 除了欧式距离还有多种距离度量方式，推荐系统中常用的就是余弦距离度量；
7. 笔记中还会涉及GBDT等下图中没有出现的算法模型。

图片来源： https://zhuanlan.zhihu.com/p/34447991

机器学习的步骤

这是《美团机器学习实践》上的一张图

 

参考博客

https://zhuanlan.zhihu.com/p/34447991

https://blog.youkuaiyun.com/jiaoyangwm/article/details/79478066