20190501

之所以说监督学习和无监督学习之间并不存在一条严格的界限，是因为很难客观地区分监督者给定的一个值是特征（feature）还是目标（target）。

当深度学习网络的最后一层是一个softmax分类器时，我们可以把网络的前面部分看成是一种表示学习（Representation Learning）的计算单元。

一个聚类算法将样本分成k个不同的聚类（cluster），从另一个角度说，这个聚类算法其实是为样本中的每一个实例提供了一种k维的one-hot编码方式

随机梯度下降（Stochastic Gradient Descent）算法是用小规模的样本近似估计梯度的方法，适合在大规模数据上训练深度神经网络，但在逻辑回归、SVM等算法中的作用很有限。(错,SGD是单个样本，mini-batch GD是小批量)

矩阵的秩等于它的非零奇异值的个数
对某个矩阵做奇异值分解（Singular Value Decomposition）后，它非0的奇异值（Singular Value）个数是：（）