自编码器——数据降维及特征提取

目录

一.定义

二.原理

  1. 编码器

  2. 解码器

三.代码实现

  1.步骤：

        代码实现：

        代码解析：

  2.进一步优化：

四.应用场景

---

一.定义

        自编码器（Autoencoder）是一种无监督学习的神经网络模型，主要用于数据的降维、特征提取和数据重构。自编码器通常由两部分组成：

1. 编码器（Encoder）： 将输入数据压缩为一个低维的表示（也称为“编码”或“隐含特征”），这部分网络逐渐减少输入的维度，从而提取数据的关键特征。

2. 解码器（Decoder）： 从编码器生成的低维表示中重构原始数据，解码器的目标是使得重构的输出尽量接近原始输入。

二.原理

        自编码器的基本目标是通过神经网络学习一个压缩和解压缩的过程。具体来说，自编码器通过一个编码器将高维输入数据转换为一个低维的表示（称为"瓶颈层"或"隐含表示"），然后通过解码器将低维表示重构回原始的高维数据。

        自编码器网络的目标是让输入数据 和重构后的数据 尽可能接近，通常使用均方误差（MSE）作为损失函数：

  1. 编码器

        编码器的任务是将高维数据压缩为低维数据。编码器部分可以是一个由几层全连接神经网络（或卷积神经网络）组成的模型。编码器的输出即是数据的低维表示。

        假设输入为 ，编码器为 ，则编码过程可以表示为：