Young, Simple, Naive

与 Isomap 试图保持近邻样本之间的距离不同，局部线性嵌入（Locally Linear Embedding, 简称 LLE）试图保持邻域内样本之间的线性关系。西瓜书 10.5.2 节 局部线性嵌入。表示要求特征向量是单位向量）。则式 (10.29) 可重写为。LLE 在低维空间（维度为。进行特征值分解后最小的。个特征值对应的特征向量（LLE 先为每个样本。

在西瓜书 10.4 节 “核化线性降维” 中，引入了一个映射函数。是高维空间中的一个标准正交基。映射到高维特征空间中，即。的具体形式，于是引入核函数。由前文中的推导可以得到。一般情形下，我们不清楚。

Let X denote a normal random variate, then the following model with a single shift (change-point) can be proposed:x[i]=μ+ε[i]x[i] = μ + ε[i]x[i]=μ+ε[i] for i = 1, …, m and x[i]=μ+δ+εix[i] = μ + δ + ε_ix[i]=μ+δ+εi​ for i = m + 1, …, nwith ε≈N(0,σ)ε \appro

逻辑回归（Logistic Regression）一般用于二分类问题，用于建模样本属于某一类别的概率。使用概率的好处是，在具体场景下可以通过设置不同的阈值以满足不同的需求。比如我们可能只会在明天有很大概率下雨时才会带伞，但却不愿将钱借给一个哪怕只有很小概率会赖账的人。概率阈值反映了我们的保守程度。我们带着两个问题来阅读下面的内容：1、为什么逻辑回归叫这么个奇怪的名字？2、逻辑回归为什么是线性模型？二分类问题：P(X)=Pr(Y=1∣X)P(X)=Pr(Y=1|X)P(X)=Pr(Y=1∣X)

分类决策函数:f(x)=sign(wx+b)f(x)=sign(wx+b)f(x)=sign(wx+b)其中sign(z)={+1if z≥0−1otherwisesign(z)=\begin{cases}+1 &if\space z\ge 0\\-1 &otherwise\end{cases}sign(z)={+1−1​if ...