机器学习手记-入门级概念

什么是机器学习

利用计算机从历史数据中找出规律，并把这些规律用到未来不确定场景的决策

• 传统的数据分析行业依赖于数据分析师本身的经验和知识水平，通过机器学习则可以摆脱对数据分析师的依赖，由机器代替人工进行分析。

机器学习发展的原动力

• 从历史数据中找到规律，把这些规律用到未来，自动做出决定
• 用数据代替专家
• 经济驱动，数据变现

机器学习的模式

• 离线机器学习

  利用历史数据建立模型。例如每天夜里利用昨天的销售数据建立模型给明天使用。

• 在线机器学习

  利用实时数据，快速建立模型并应用。例如电商实时推荐系统。

机器学习的典型应用

关联规则

购物篮分析，把常常一起出现在消费者购买清单上的物品作关联分析，发现购买规律。进而调整销售规则，比如捆绑销售。

聚类规则

将用户细分，进而达到精准营销

朴素贝叶斯

过滤垃圾邮件

决策树

信用卡欺诈

CTR预估

互联网广告

协同过滤

推荐系统

常用算法和分类

算法分类（1）

• 有监督学习

训练数据已经被提前打好标签，典型的如分类算法和回归算法

• 无监督学习

由算法自己完成数据聚类，典型算法如聚类算法

• 半监督学习

强化学习，如同小孩子学走路，练的越多走得越稳

算法分类2

• 分类与回归
• 聚类
• 标注

算法分类3

• 生成模型

  根据概率判断，例如该样本60%可能性是A类，比较模棱两可。

• 判别模型

  非1即2，例如该样本是A类，比较武断。

数据分析和机器学习

-	数据分析	机器学习
数据特点	交易数据	行为数据
数据量级	少量	海量
分析方式	采样分析	全量分析
解决问题	报告过去的事情	预测未来的事情
分析方法	用户驱动，交互式分析	数据驱动，自动进行知识发现
参与者	分析师	数据+算法
结果	分析师能力决定结果	数据质量决定结果
目标用户	公司高层	个体

机器学习解决问题的关键

训练模型

• 定义模型

• 定义损失函数

• 优化算法
  

模型评估

• 交叉验证
• 效果评估