蜗牛的博客

书籍：统计学习方法作者：李航目录K近邻算法K近邻模型模型距离度量K值的选择分类决策规则K近邻算法的实现：kd树构造kd树搜索kd树K近邻算法给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的kkk个实例，这kkk个实例的多数属于某个类，就把该输入实例分为这个类。K近邻法的特殊情况是k=1k=1k=1的情形，称为最近邻算法。对于输入的实例点（特征向量）xxx，最近邻法将训练数据集中与xxx最邻近点的类作为xxx的类。K近邻模型模型特征空间中，对每个训练实例点xix_.

书籍：统计学习方法作者：李航目录感知机模型感知机学习策略数据集线性可分型感知机学习策略感知机学习算法感知机学习算法的原始形式算法收敛性证明感知机学习算法的对偶形式感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1+1+1和−1-1−1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求的感知机模型。感知机模型.

书籍：统计学习方法作者：李航目录统计学习及监督学习概论统计学习特点对象目的方法研究重要性统计学习的分类基本分类监督学习无监督学习强化学习半监督学习与主动学习按模型分类概率模型与非概率模型线性模型和非线性模型参数化模型与非参数化模型按算法分类在线学习和批量学习按技巧分类贝叶斯学习核方法统计学习方法三要素模型策略损失函数和风险函数经验风险最小化和结构风险最小化算法模型评估与模型选择训练误差与测试误差过拟合和特征选择正则化与交叉验证正则化交叉验证简单交叉验证S折交叉验证留一交叉验证泛化能力泛化误差泛化误差.