机器学习——监督学习

监督学习

名词解释

输入空间

将输入的所有可能取值的集合称作输入空间

输出空间

将输出的所有可能取值的集合称作输出空间

输入实例x的特征向量

联合概率分布（转：

联合概率分布简称联合分布，是两个及以上随机变量组成的随机向量的概率分布。根据随机变量的不同，联合概率分布的表示形式也不同。对于离散型随机变量，联合概率分布可以以列表的形式表示，也可以以函数的形式表示；对于连续型随机变量，联合概率分布通过一非负函数的积分表示。			

argmax

参数函数

机器学习三要素

方法 = 模型 + 策略 + 算法
无界有条件 假设一个集合

损失函数

一次预测的好坏
0-1 平方 对数 

损失函数的期望

损失函数（loss function）就是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数，它是一个非负实值函数，通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。

期望风险

期望风险是全局概念，它是对所有样本，即对已知的训练样本加未知样本的预测能力。
期望风险对所有样本预测错误程度的均值，基于所有样本点损失函数最小化。期望风险是全局最优，是理想化的不可求的。

风险函数

 风险函数（risk function）= 期望风险（Expected Risk）= 期望损失（Expected Loss），可以认为是平均意义下的损失。
 风险函数有两种，不考虑正则项的是经验风险（Empirical Risk），考虑过拟合问题，加上正则项的是结构风险（Structural Risk）。

经验风险

经验风险（Empirical Risk）也称为经验错误（Empirical Error），损失函数度量了单个样本的预测结果，要想衡量整个训练集的预测值与真实值的差异，将整个训练集所有记录均进行一次预测，求取损失函数，将所有值累加，即为经验风险。经验风险是局部最优，是现实的可求的。

期望损失

风险函数（risk function）= 期望风险（Expected Risk）= 期望损失（Expected Loss），可以认为是平均意义下的损失。

风险函数

平均意义下的模型预测的好坏

概率是频率的期望

噪声

产生过拟合（over-fitting）现象

结构风险

结构风险最小化，防止过拟合提出的策略，等价于正则化，加入正则项，或罚项。
求最优模型就是求解最优化问题

正则化

结构风险，就是在经验风险上加上一个正则化项（regularizer）或者叫做罚项（penalty term），即

范数

范数(norm)是线性代数中的一个基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式，它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。

1 范数 路径

2 范数 模长

P范数 模长的推广

Ｊ（ｘ）　泛函

函数－＞　数

模长

范数，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范数是一个函数，是矢量空间内的所有矢量赋予非零的正长度或大小。定义范数的矢量空间是赋范矢量空间。
向量 AB（AB上面有→）的长度叫做向量的模，记作|AB|(AB上有→）或|a|(a上有→)。而模是绝对值在二维和三维空间的推广，可以认为就是向量的长度。模推广到高维空间中称为范数。

交叉验证

通过交叉验证后学习器的综合表现来选择不同的模型和超参数

泛化能力

是指机器学习算法对新鲜样本的适应能力

判别模型

判别  -> 判断边界

生成模型

生成 -> 生成 ->判断边界

标注 分类 回归
监督学习的目的就是学习一个模型

分类问题

二分类评价指标

true / false   positive / negative

混淆矩阵

混淆矩阵是机器学习中总结分类模型预测结果的情形分析表，以矩阵形式将数据集中的记录按照真实的类别与分类模型预测的类别判断两个标准进行汇总。
其中矩阵的行表示真实值，矩阵的列表示预测值。

混淆矩阵（Confusion Matrix），是一种在深度学习中常用的辅助工具，可以让你直观地了解你的模型在哪一类样本里面表现得不是很好。

准确率 精确率 召回率 F1值（调和平均）

Recall = TP / ( TP + FN)
Precision = TP / ( TP + FP)
F-measure = (2* Recall * Precision) / (Recall + Precision ）

比较精度低和查全率高的两个模型比较困难，反之亦然。因此，使其具有可比性,因此，为了使它们具有可比性，我们使用F-Score,有助于同时测量召回率和精度。它通过更多地惩罚极值来使用谐波均值代替算术均值.