3、深度学习中的编码、学习类型及相关技术解析

深度学习中的编码、学习类型及相关技术解析

1. 输入编码

输入编码是实现深度学习所必需的，它是将输入向量映射到另一个向量以便轻松计算输出向量的过程。维度缩减、异常值检测和特征映射是输入编码的典型实例，也可看作是从输入向量计算隐藏向量的过程。
- 维度缩减 ：将输入向量自动映射到维度更小的向量。常见方法是计算属性之间的相关性，并去除与其他属性高度相关的属性。例如，在一个包含多个特征的数据集里，若某些特征之间存在很强的线性关系，就可以去除其中一些特征，从而降低数据的维度。维度缩减是实现深度学习的一个组件，它有助于减少计算量和存储需求。
- 异常值检测 ：检测每个数据项是否为异常值，可视为将每个数据项进行二分类的过程。异常值检测前的数据分布较为嘈杂，检测后会变得平滑。检测为异常值的数据项会从训练示例中移除，以提高模型的稳定性和准确性。
- 特征映射 ：将输入向量映射到另一个空间，目的是将非线性可分的输入空间转换为线性可分的空间。支持向量机（SVM）通过特征映射被视为一种深度学习算法。在这个过程中，通过核函数可以计算映射到另一个空间的向量的内积，而无需实际映射原始向量。

深度学习通过将输入编码模块附加到现有机器学习算法的前端来实现。下面是输入编码的主要类型总结表格：
| 输入编码类型 | 描述 |
| ---- | ---- |
| 维度缩减 | 将输入向量编码为维度更低的向量 |
| 异常值检测 | 检测输入向量是否为异常值 |
| 特征映射 | 将输入向量映射到另一个空间 |

2. 输出编码