深度学习AI圣经读书笔记

随便瞎看的（整理的没有逻辑），内容太多太难，一直看不懂也看不下去，每个名词都是不认识的专有名词，难受≧ ﹏ ≦

1、监督学习

概率监督学习

支持向量机（SVM）  

决策树 

one-hot编码向量：

---

what---

One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。

One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。

how---

比如共有5个类，那么就有5个编码：

[1 0 0 0 0]
[0 1 0 0 0]
[0 0 1 1 1]
[0 0 0 1 0]
[0 0 0 0 1]

why---

One hot 编码进行数据的分类更准确，许多机器学习算法无法直接用于数据分类。数据的类别必须转换成数字，对于分类的输入和输出变量都是一样的。

我们想让网络更具表现力，为每个可能的标签值提供概率式数字。这有助于进行问题网络建模。当输出变量使用one-hot编码时，它可以提供比单个标签更准确的一组预测。
 

k-近邻

作为一个非参数学习算法，k-近邻能达到非常高的容量。例如，假设我们有一个用0-1 误差度量性能的多分类任务。在此设定中，当训练样本数目趋向于无穷大时，1-最近邻收敛到两倍贝叶斯误差。超出贝叶斯误差的原因是它会随机从等距离的临近点中随机挑一个。而存在无限的训练数据时，所有测试点x 周围距离为零的邻近点有无限多个。如果我们使用所有这些临近点投票的决策方式，而不是随机挑选一个，那么该过程将会收敛到贝叶斯错误率。k-最近邻的高容量使其在训练样本数目大时能够获取较高的精度。然而，它的计算成本很高，另外在训练集较小时泛化能力很差。k-近邻的一个弱点是他不能学习出哪个特征比其他更具识别力。

2、无监督学习

what---

无监督算法只处理“特征’’，不操作监督信号。监督和无监督算法之间的区别没有规范严格的定义，因为没有客观的判断来区分监督者提供的值是特征还是目标。

how---

无监督学习的大多数尝试是指从不需要人为注释的样本的分布中抽取信息。该术语通常与密度估计相关，学习从分布中采样、学习从分布中去噪、寻找数据分布的流形或是将数据中相关的样本聚类。

一个经典的无监督学习任务是找到数据的‘‘最佳’’ 表示。最常见的三种包括低维表示、稀疏表示和独立表示。

 表示的概念是深度学习核心主题之一。

• 低维表示尝试将x 中的信息尽可能压缩在一个较小的表示中。
• 稀疏表示将数据集嵌入到输入项大多数为零的表示中(Barlow, 1989; Olshausen and Field, 1996;Hinton and Ghahramani, 1997)。 
• 稀疏表示通常用于需要增加表示维数的情况，使得大部分为零的表示不会丢失很多信息。这会使得表示的整体结构倾向于将数据分布在表示空间的坐标轴上。独立表示试图分开数据分布中变化的来源，使得表示的维度是统计独立的

主成分分析（PCA）

k-均值聚类（K-means） 

 在深度学习兴起之前，学习非线性模型的主要方法是结合核技巧的线性模型。