5、分类方法全解析：从逻辑回归到K近邻算法

分类方法全解析：从逻辑回归到K近邻算法

在机器学习领域，分类是一个至关重要的任务，它旨在根据给定的协变量构建规则，将响应变量划分到有限的集合中，例如 ±1，数字 0 到 9 等。下面将详细介绍几种常见的分类方法。

1. 逻辑回归

逻辑回归的目标是确定从 p 个协变量到一个取两个值的响应变量的决策规则，即找到一个映射 $x \in R^p \to y \in {-1, 1}$，使得错误概率最小化。

假设对于 $x \in R^p$（行向量），$y = 1$ 和 $y = -1$ 的概率分别表示为 $\frac{e^{\beta_0 + x\beta}}{1 + e^{\beta_0 + x\beta}}$ 和 $\frac{1}{1 + e^{\beta_0 + x\beta}}$，其中 $\beta_0 \in R$ 且 $\beta \in R^p$，$y \in {-1, 1}$ 的概率可写为 $\frac{1}{1 + e^{-y(\beta_0 + x\beta)}}$。

为了大致解释这个函数（即 Sigmoid 函数），以 $p = 1$，$\beta_0 = 0$，$\beta > 0$ 且 $y = 1$ 为例，函数表达式为 $f(x) = \frac{1}{1 + e^{-(\beta_0 + x\beta)}}$，$x \in R$。以下是绘制该函数图像的 R 代码：

f=function(x)exp(beta.0+beta*x)/(1+exp(beta.0+beta*x))
beta.0=0; beta.seq=c(0,0.2,0.5,1,2,10); m=len