Aurora_DM的博客

一、训练误差与测试误差统计学习的目的就是利用已经学到的模型对已知数据和未知数据进行预测，因此在损失函数确定的情况下，基于损失函数的训练误差和测试误差就成了我们对模型进行评价的一个标准。注意：在统计学习中使用的损失函数未必和评估中使用的损失函数一样。假设学习到的模型是y=f^(x)\hat{f}(x)，则训练误差就是模型y=f^(x)\hat{f}(x)基于训练语料的平均误差： R(f

一、正则化 1、模型选择典型的方式就是正则化。正则化就是结构风险最小化策略的实现，就是在经验风险项中添加一个郑泽华想或者叫做惩罚项。 正则化项与模型的关系一般是模型复杂度越高，正则化项的值就会越大。 正则化项的作用就是平衡经验风险较小与模型复杂度较小。最好的结果就是经验风险和模型复杂度同时较小。 正则化的一般形式为： min∑Ni=11NL(yi,f(xi))+λJ(f)min\sum_

1、模型学习的任务就是学习得到一个模型，利用这个模型对未知数据进行预测得到相应的输出。模型的形式一般为决策函数：f(x)=y，或者条件概率分布P（y|x）。 2、监督学习可以分为生成方法和判别方法，其所学习得到的模型分别是生成模型和判别模型。 （1）生成模型是通过训练数据学习得到联合概率分布P(x,y)，然后计算求得条件概率分布P(y|x)，作为判别模型，即得到生成模型: P(y|x)=P(

一、感知机概述 1、定义：感知机就是一个二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。 2、感知机对应于将输入空间中的实例分为正负两个类别的分离超平面，其属于判别分类模型。其基于误分类的分类损失函数，利用梯度下降法计算分类损失函数的极小值，得到感知机模型。 感知机学习算法分为原始形式和对偶形式。感知机就是利用学习到的感知机模型对新输入的数据进行预测分类。 二、感知机模型

此处我们主要是讨论监督学习。统计学习方法三要素：模型的假设空间（模型）、模型选择的准则（策略）、模型学习的算法（算法）。1、实现统计学习方法得步骤如下：（1）获取一个训练数据集合（2）确定包含所有可能的模型的假设空间，即学模型的集合（3）确定模型学习的准则，即学习的策略（4）确定实现求解最优模型的算法（5）选择最优模型，对新数据进行预测和分析2.模型在监督学习中，模型就是要学习的条件概率分布或者决