74、机器学习中的回归与非参数模型详解

机器学习中的回归与非参数模型详解

在机器学习领域，有多种方法可用于解决分类和回归问题。本文将深入探讨逻辑回归、非参数模型等相关内容，包括它们的原理、优缺点以及应用场景。

逻辑回归实验与特性

逻辑回归是一种常用的分类技术。在重复某些实验时，用逻辑回归替代线性阈值分类器得到了不同的结果。
- 实验结果 ：
- 对于线性可分的情况，逻辑回归收敛速度稍慢，但表现更具可预测性。
- 在数据有噪声且不可分的情况下，逻辑回归收敛更快且更可靠。
- 权重更新公式 ：逻辑函数的导数 (g’(z)=g(z)(1 - g(z)))，所以权重更新公式为 (w_i \leftarrow w_i + \alpha(y - h_w(x)) \times h_w(x)(1 - h_w(x)) \times x_i)，其中 (\alpha) 为常数，((y - h_w(x))) 是输入和预测之间的差值。
- 应用场景 ：由于这些优点，逻辑回归在医学、营销、调查分析、信用评分、公共卫生等领域成为了最受欢迎的分类技术之一。

非参数模型概述

线性回归使用训练数据估计一组固定参数 (w)，这种用固定大小参数集总结数据的学习模型称为参数模型。然而，当有大量数据时，非参数模型可能是更好的选择。
- 非参数模型定义 ：非参数模型不能用有界的参数集来表征，例如分段线性函数会保留所有数据点作为模型的一部分，这种学习方法也被称为基于实例的学习或基于记忆的学习。
- 简单实例