22、机器学习中的统计与连接主义框架解析

机器学习中的统计与连接主义框架解析

1. 统计框架中的核函数

在统计框架里，核函数是十分关键的概念，它用于衡量输入空间中数据对的相似度。以下是一些常用的核函数：
| 名称 | 核函数 |
| — | — |
| 多项式核 | $\kappa(x, x’) = (\langle x, x’ \rangle + c)^d$ |
| 双曲正切核 | $\kappa(x, x’) = \tanh(\kappa \langle x, x’ \rangle + \Theta)$ |
| 高斯核 | $\kappa(x, x’) = \exp\left(-\frac{|x - x’|^2}{2\sigma^2}\right)$ |
| 拉普拉斯核 | $\kappa(x, x’) = \exp\left(-\frac{|x - x’|}{\sigma}\right)$ |
| 幂核 | $\kappa(x, x’) = |x - x’|^d$ |

2. 正定核

在给出正定核的定义之前，需要先了解Gram矩阵和正定矩阵的概念。
- Gram矩阵 ：给定一个核函数 $\kappa: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ 以及输入 $x_1, x_2, \ldots, x_n \in \mathcal{X}$，那么 $n \times n$ 矩阵 $K = [\kappa(x_i, x_j)] {i,j} \in \mathbb{R}^{n \times n}$ 被称为对应于 $x_1, x_2, \ldots,