LutingWang的博客

1957年，数学家 Richard Bellman 在研究动态规划问题时首次提出了维数灾难（curse of dimensionality）的概念，用于描述高维空间中的一系列数学现象。本文介绍了维数灾难在机器学习中的概念以及常用的数据降维方法原理。

Contents最大方差思想最小均方误差思想处理高维数据相关系数矩阵结果分析贡献率被提取率Principal components analysis 尝试寻找 nnn 维原空间的一个 MMM 维子空间，使样本集在其上的投影保留了尽量多的信息。在 PCA 之前，我们首先需要对数据集归一xi:=xi−xˉx_i := x_i - \bar xxi​:=xi​−xˉ使用设计矩阵的定义 X=[x...

ContetsDiscriminativeLogistic RegressionPerceptron Learning AlgorithmSoftmax RegressionGenerative Learning AlgorithmsGaussian Discriminant AnalysisNaive Bayes ClassifierAppendixLogistic Regression对于离...

在前面的章节中，我们一直使用 frequentist statistics 的视角来进行建模。我们将 θ\thetaθ 视作一个常数，并假设其值可以使观测数据在理论上出现的概率最大θ=arg⁡max⁡θ∑i=1mp(y(i)∣x(i);θ)\theta = \arg\max_\theta\sum\limits_{i=1}^mp\left(y^{(i)}|x^{(i)}; \theta\righ...

Contents模型检验一元线性回归LWR连续性随机变量的学习问题称为 regression. 回归问题中最常见的是 linear regressiony∣x;θ=h(x)+ϵy|x;\theta = h(x) + \epsilony∣x;θ=h(x)+ϵ其中 ϵ∼N(0,σ2)\epsilon \sim N(0, \sigma^2)ϵ∼N(0,σ2) 称为 error term。应用 ...

ContentsOptimal Margin ClassifierSoft Margin ClassifierSMO[^smo]KernelsSupport vector machines 几乎是最好的有监督学习算法。对于一个线性二分问题，设 y∈{−1,1},x∈Rny \in \{-1,1\}, x \in \mathbb{R}^ny∈{−1,1},x∈Rn。注意到我们没有使用增广形式的特征...

机器学习笔记 2本文为吴恩达老师 CS229 课程笔记，包括机器学习理论的部分内容。

Neural network is a better way to learn complex non-linear hypothesis even when nnn is large, than logistic regression.A neuron model is one logistitic unit in the neural network, which hasseveral ...

机器学习笔记 3本文为吴恩达老师 CS229 课程笔记，包括无监督学习的部分内容。即 k-means 算法、EM 算法、主成分分析等。