《统计学习方法》学习笔记

参考： 【机器学习】判别模型vs生成模型、概率模型vs非概率模型

1.1统计学习

1.统计学习的特点

“如果一个系统能够通过执行某个过程改进它的性能，这就是学习” -----Herbert A. Simon

（1）建立在计算机及其网络上的
（2）研究对象是数据
（3）目的是对数据进行预测与分析
（4）以方法为中心，构建模型->应用模型
（5）多学科的交叉，包括概率论，统计学，信息论，计算理论，最优化理论等多个领域。

2.统计学习的对象

统计学习会将同类数据具有一定的统计规律性作为基本假设。
例如一堆看似杂乱无章的数据但是假设其具有某种分布概率

3.统计学习的目的

考虑学习什么样的模型和如何学习模型，以使模型能对数据进行准确的预测与分析，并且还需尽可能的提高学习效率。

4.统计学习的方法

主要包括监督学习，无监督学习和强化学习，均属于基于数据构建概率模型从而对数据进行预测于分析。
主要包含如下步骤：
（1）得到有限的训练数据集
（2）确定学习模型的集合，通俗说是研究问题的所有可能
（3）学习的策略，即训练模型的策略
（4）学习的算法
（5）通过学习算法选择最优模型
（6）利用最优模型对新数据进行预测

1.2统计学习的分类

1.2.1 基本分类

1. 监督学习
   即有标签，标注数据的学习，这类学习主要的学习输入到输出的映射规律，通过给定数据 (x，y) (其中x是特征，y是对应的映射）,大量数据的学习使模型可以识别这种映射关系。

   下面介绍监督学习里面的一些基本概念：
   1. 输入空间，特征空间，输出空间
   输入空间和输出空间就是输入与输出所有可能的取值，既可以是有限的元素集合，也可以是整个欧式空间。
   而每个具体的输入是一个实例，通常由特征空间表示
   2. 假设空间
   在监督学习中模型是用来表示由一个输入到输出关系的映射，学习的目的就是为了找到最好的模型可以表示或者近似这种映射，模型属于由输入空间到输出空间映射的集合（可以理解成为一个函数，输入是x，映射是y），假设空间就是学习的范围。

2. 无监督学习
   从无标注数据中学习预测模型的机器问题，无监督学习的本质是学习数据中的统计规律和潜在结构。

3. 强化学习
   指智能系统在与环境的连续互动中学习最优行为策略的机器学习问题，通俗化来说就是能够与外界进行交流，并且可以不断的调整自己，强化学习的本质是学习最优序贯决策
   主要包含：
   1. 智能体（Agent）：在强化学习中，智能体是做出决策的实体，它可以是一个软件程序、一个机器人，或者是任何可以进行决策的系统。
   2.环境（Environment）：智能体所处的环境是它可以进行探索和学习的空间。环境根据智能体的动作反馈