统计学习方法--笔记（1）

学习理由：趁着研一的下半期刚开始有空闲的时候，打算开始学习朋友上学期介绍的李航《统计学习方法》，自己本身对于数学有着不一样的感情，所以，一旦跟自己专业相关的数学自己还是很感兴趣的读一读，学习学习。很多时候，光看书不记笔记的话，久了以后有不常用的话，看了也忘了。所以自己开始写博客记录自己的学习过程，也同时监督自己的学习。

第1章 统计学习方法概论

1.1 统计学习的基本概念

1、统计学习的定义
统计学习（statistical learning）是关于计算机基于数据构建概率统计模型并运用对数据进行预测与分析的一门学科。统计学习也称为统计机器学习（statistical machine learning）。
2、统计学习的特点
（1）统计学习以计算及网络为平台，是建立在计算机及网络之上的。
（2）统计学习以数据为研究对象，是数据驱动的学科。
（3）统计学习的目的是对数据进行预测与分析
（4）统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析
3、统计学习的对象
统计学习的对象就是数据（data）。它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，然后又回到数据的分析与预测当中去。
数据是多样的，包括存在于计算机及网络上的各种数字、文字、图像、视频、音频数据以及它们的组合。
统计学习关于数据的基本假设是同类数据具有一定的统计规律性，这是统计学习的前提。PS：同类数据是指具有某种共同性质的数据，例如：英文文章、互联网网页、数据库里的数据等。由于它们具有某种统计规律性，所以可以用概率统计方法来加以处理。
3、统计学习的目的
统计学习用于对数据进行预测与分析来获取新的知识，能够提高计算机某些性能最终使计算机更加智能。其通过构建概率统计模型实现。统计学习总的目标就是考虑学习什么样的模型和如何学习模型，以使模型能对数据进行准确的预测与分析，并同时也要尽可能地提高学习的效率。
4、统计学习的方法
统计学习的方法是基于数据构建统计模型从而对数据进行预测与分析。
统计学习的组成：(1)监督学习（supervised learning） (2)非监督学习（unsupervised learning） (3)半监督学习（semi-supervised learning） (4)强化学习（reinforcement learning）
实现统计学习方法的步骤如下：
（1）得到一个有限的训练数据集合
（2）确定包含所有可能的模型的假设空间，即学习模型的集合
（3）确定模型选择的准则，即学习策略
（4）实现求解最有的算法，即学习的算法
（5）通过学习方法选择最优模型
（6）利用学习的最优模型对新数据进行预测和分析。

1.2 监督学习