Auto-Encoder --李宏毅机器学习笔记

个人学习笔记，如有错误欢迎指正，也欢迎交流，其他笔记见个人空间 

Auto-Encoder 是什么？

Auto-Encoder（自编码器）是一种典型的 Self-Supervised Learning（自监督学习） 方法，具有以下结构和目标：

• 结构：

  • 包含两个网络：Encoder 和 Decoder

  • Encoder 将输入数据压缩为低维表示

  • Decoder ​从低维表示重建原始数据

• 训练目标：

  • 最小化输入与输出之间的重建误差

  • 本质是“重建（Reconstruction）”，即让输出尽可能还原原始输入

• 无需标签：

  • Auto-Encoder 只依赖无标签数据，典型的 Unsupervised Learning，属于 Pre-Training 方法的一种

与其他模型的比较与联系

• 与 BERT、GPT 相比：BERT 做填空题、GPT 做文本续写，而 Auto-Encoder 做输入重建。尽管方式不同，但目标一致：从无标签数据中学习有效表示。

• 与 CycleGAN 的“Cycle Consistency”思想类似：期望“原始 → 中间 → 重建”的结果与原始尽可能一致

Auto-Encoder的原理

• 特征提取与降维（Dimension Reduction）：<