9、非参数方法：密度估计、分类与回归的实用指南

非参数方法：密度估计、分类与回归的实用指南

1. 非参数方法概述

非参数方法在无法对输入密度做出先验假设时发挥作用，它基于“相似输入产生相似输出”的合理假设。在机器学习中，非参数方法也被称为基于实例或基于内存的学习算法，因为它们将训练实例存储在查找表中，并据此进行插值。

1.1 与参数方法对比

方法类型	假设情况	模型特点	复杂度
参数方法	假设数据服从已知形式的概率分布，有全局有效模型	模型简单，参数少	计算和存储复杂度低，如 O(d) 或 O(d²)
非参数方法	不假设潜在密度的先验参数形式，局部模型按需估计	无单一全局模型，复杂度取决于训练集大小	计算和存储复杂度高，如 O(N)

1.2 非参数方法的优缺点

• 优点 ：不依赖特定的参数形式，能更好地适应数据的复杂性。
• 缺点 ：需要存储所有训练实例，计算和存储复杂度高，属于“懒惰学习”算法。

2. 非参数密度估计