卷积自编码器（CAE）概念解析与用法实例：压缩数字图像

于 2025-04-05 10:04:01 发布
阅读量995 收藏 11
点赞数 22
分类专栏： 神经网络 文章标签： 人工智能 神经网络 python 深度学习 CAE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_69722969/article/details/146982880
版权

目录

1. 前言

2. 自编码器的基本概念

2.1 编码器部分

2.2 解码器部分

2.3 损失函数

3. 卷积自编码器的实例：压缩数字图像

3.1 导入必要的库

3.2 定义卷积自编码器模型

3.3 准备数据集

3.4 训练模型

3.5 可视化重建结果

3.6 完整代码

4. 应用场景

5. 总结

1. 前言

在深度学习领域，自编码器（Autoencoder）是一种无监督学习模型，用于学习数据的压缩表示并从中重建原始数据。卷积自编码器（Convolutional Autoencoder，CAE）是自编码器的一个变种，如果不熟悉自编码器，可以去读一读：

《自编码器（AutoEncoder）概念解析与用法实例：压缩数字图像》​​​​​​​

可以发现CAE与Autoencoder的差距无非就是一个用卷积层池化层学习，一个用全连接神经网络学习。CAE特别适用于处理图像数据。通过使用卷积层和池化层，CAE能够有效地学习图像的层次特征表示，同时减少参数量，提高模型的效率和性能。

2. 自编码器的基本概念

自编码器是一种神经网络模型，主要由编码器（Encoder）和解码器（Decoder）两部分组成。编码器将输入数据压缩为低维的潜在空间表示，而解码器则从这个表示中重建原始数据。自编码器的目标是尽可能准确地重建输入数据，同时通过瓶颈层（低维表示）限制模型的容量，从而学习到数据的高效表示。

卷积自编码器将传统自编码器中的全连接层替换为卷积层和池化层，特别适合处理图像数据。其结构如下：

2.1 编码器部分

编码器通常包含多个卷积层和池化层，用于提取图像的特征。每个卷积层后面通常跟着一个激活函数（如ReLU）和一个池化层（如最大池化），以逐步减少特征图的尺寸，同时增加通道数。

2.2 解码器部分

解码器则使用转置卷积层（Transposed Convolution）来逐步恢复特征图的尺寸，最终重建出原始图像。转置卷积层可以看作是传统卷积层的逆操作，用于上采样特征图。

2.3 损失函数

卷积自编码器通常使用均方误差（MSE）或二元交叉熵（BCE）作为损失函数，衡量重建图像与原始图像之间的差异。

3. 卷积自编码器的实例：压缩数字图像

以下是使用PyTorch构建卷积自编码器的完整代码示例：

3.1 导入必要的库

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms
import matplotlib.pyplot as plt

3.2 定义卷积自编码器模型

class ConvolutionalAutoencoder(nn.Module):
    def __init__(self):
        super(ConvolutionalAutoencoder, self).__init__()
        # 编码器部分
        self.encoder = nn.Sequential(
            nn.Conv2d(1, 16, kernel_size=3, stride=2, padding=1),  # 输入通道数为1，输出通道数为16
            nn.ReLU(True),
            nn.Conv2d(16, 32, kernel_size=3, stride=2, padding=1),  # 输入通道数为16，输出通道数为32
            nn.ReLU(True),
            nn.Conv2d(32, 64, kernel_size=3, stride=2, padding=1),  # 输入通道数为32，输出通道数为64
            nn.ReLU(True)
        )
        # 解码器部分
        self.decoder = nn.Sequential(
            nn.ConvTranspose2d(64, 32, kernel_size=2, stride=2),  # 转置卷积，输出通道数为32
            nn.ReLU(True),
            nn.ConvTranspose2d(32, 16, kernel_size=2, stride=2),  # 转置卷积，输出通道数为16
            nn.ReLU(True),
            nn.ConvTranspose2d(16, 1, kernel_size=2, stride=2),  # 转置卷积，输出通道数为1
            nn.Sigmoid()  # 使用Sigmoid激活函数，输出范围在[0, 1]
        )

    def forward(self, x):
        x = self.encoder(x)
        x = self.decoder(x)
        return x

3.3 准备数据集

# 数据预处理
transform = transforms.Compose([
    transforms.ToTensor(),  # 将图像转换为Tensor
])

# 加载MNIST数据集
train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transform)

# 创建数据加载器
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=128, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=128, shuffle=False)

3.4 训练模型

# 初始化模型、损失函数和优化器
model = ConvolutionalAutoencoder()
criterion = nn.MSELoss()  # 使用均方误差作为损失函数
optimizer = optim.Adam(model.parameters(), lr=0.001)  # 使用Adam优化器

# 训练模型
num_epochs = 10
for epoch in range(num_epochs):
    for data in train_loader:
        img, _ = data
        # 前向传播
        output = model(img)
        loss = criterion(output, img)
        # 反向传播和优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    # 每个epoch打印一次损失
    print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')

3.5 可视化重建结果

# 测试模型并可视化重建结果
with torch.no_grad():
    for data in test_loader:
        img, _ = data
        output = model(img)
        break

# 可视化原始图像和重建图像
plt.figure(figsize=(10, 5))
for i in range(5):
    plt.subplot(2, 5, i+1)
    plt.imshow(img[i].squeeze().numpy(), cmap='gray')
    plt.title('Original')
    plt.axis('off')
    plt.subplot(2, 5, i+6)
    plt.imshow(output[i].squeeze().numpy(), cmap='gray')
    plt.title('Reconstructed')
    plt.axis('off')
plt.tight_layout()
plt.show()

3.6 完整代码

完整代码如下方便调试：

import os
os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE'

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms
import matplotlib.pyplot as plt

class ConvolutionalAutoencoder(nn.Module):
    def __init__(self):
        super(ConvolutionalAutoencoder, self).__init__()
        # 编码器部分
        self.encoder = nn.Sequential(
            nn.Conv2d(1, 16, kernel_size=3, stride=2, padding=1),  # 输入通道数为1，输出通道数为16
            nn.ReLU(True),
            nn.Conv2d(16, 32, kernel_size=3, stride=2, padding=1),  # 输入通道数为16，输出通道数为32
            nn.ReLU(True),
            nn.Conv2d(32, 64, kernel_size=3, stride=2, padding=1),  # 输入通道数为32，输出通道数为64
            nn.ReLU(True)
        )
        # 解码器部分
        self.decoder = nn.Sequential(
            nn.ConvTranspose2d(64, 32, kernel_size=2, stride=2),  # 转置卷积，输出通道数为32
            nn.ReLU(True),
            nn.ConvTranspose2d(32, 16, kernel_size=2, stride=2),  # 转置卷积，输出通道数为16
            nn.ReLU(True),
            nn.ConvTranspose2d(16, 1, kernel_size=2, stride=2,padding=2),  # 转置卷积，输出通道数为1
            nn.Sigmoid()  # 使用 Sigmoid 激活函数，输出范围在 [0, 1]
        )

    def forward(self, x):
        x = self.encoder(x)
        x = self.decoder(x)
        return x

# 数据预处理
transform = transforms.Compose([
    transforms.ToTensor(),  # 将图像转换为Tensor
])

# 加载MNIST数据集
train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transform)

# 创建数据加载器
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=128, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=128, shuffle=False)

# 初始化模型、损失函数和优化器
model = ConvolutionalAutoencoder()
criterion = nn.MSELoss()  # 使用均方误差作为损失函数
optimizer = optim.Adam(model.parameters(), lr=0.001)  # 使用Adam优化器

# 训练模型
num_epochs = 10
for epoch in range(num_epochs):
    for data in train_loader:
        img, _ = data
        # 前向传播
        output = model(img)
        loss = criterion(output, img)
        # 反向传播和优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    # 每个epoch打印一次损失
    print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')

# 测试模型并可视化重建结果
with torch.no_grad():
    for data in test_loader:
        img, _ = data
        output = model(img)
        break

# 可视化原始图像和重建图像
plt.figure(figsize=(10, 5))
for i in range(5):
    plt.subplot(2, 5, i+1)
    plt.imshow(img[i].squeeze().numpy(), cmap='gray')
    plt.title('Original')
    plt.axis('off')
    plt.subplot(2, 5, i+6)
    plt.imshow(output[i].squeeze().numpy(), cmap='gray')
    plt.title('Reconstructed')
    plt.axis('off')
plt.tight_layout()
plt.show()

4. 应用场景

卷积自编码器在许多领域都有广泛的应用，例如：

  • 降噪：通过学习数据的干净和噪声版，可以去除图片的噪声。

  • 图像压缩：通过有效的编码方式减少图像存储数据的需求。

  • 异常检测：在工业监控和医疗影像中，识别未见过的模式。

5. 总结

卷积自编码器提供了一种强大的方法来自动学习数据的特征，并用于相关任务。通过PyTorch，构建和训练卷积自编码器变得容易且高效。希望本文的代码示例能帮助你入门卷积自编码器的实现，并激发你在此领域的进一步探索。随着深度学习技术的发展，卷积自编码器在未来将继续为各种应用带来更多可能性。我是橙色小博

深入探究卷积自编码器：原理、实现与应用
m0_62153576的博客
04-15 78
在人工智能和深度学习的领域中，卷积神经网络（Convolutional Neural Networks，简称 CNN）已经成为处理二维空间结构数据（如图像）的强大工具。CNN 能够将输入的图像逐步处理，最终生成一维向量表示。这就引发了一个有趣的思考：既然可以从图像矩阵学习到向量表示的映射，那么是否也能从这个向量表示反向学习到图像呢？这正是卷积自编码器（Convolutional Autoencoder）要解决的问题。要理解本文的内容，需要对 Python 代码和神经网络有基本的了解，适合有开发新颖架构经验的
自动编码器 (Autoencoder) 原理与代码实例讲解
AI天才研究院
06-28 1203
自动编码器 (Autoencoder) 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：自动编码器(Autoencoders), 数据压缩, 异常检测, 图像生成, 应用场景
深度学习之卷积自编码器
热门推荐
zlinxi
10-31 4万+
一、自编码器 自编码器（Autoencoder）是一种旨在将它们的输入复制到的输出的神经网络。他们通过将输入压缩成一种隐藏空间表示（latent-space representation），然后这种重构这种表示的输出进行工作。这种网络由两部分组成，如下图： 编码器：将输入压缩为潜在空间表示。可以用编码函数h = f（x）表示。 解码器：这部分旨在重构来自隐藏空间表示的输入。可以用解码函数r ...
卷积自编码器（Convolutional Autoencoder）的一个实验
庆志的小徒弟
05-09 1万+
1、卷积自编码器（CAE）的简单介绍 卷积自编码器是自编码器方法的一种延伸，自编码器包括编码和解码，通过将输入的图像进行编码，特征映射到隐层空间，然后解码器对隐层空间的特征进行解码（重建的过程）获得输入的重建样本。自编码一般使用NN网络做编码和解码器，卷积自编码器利用卷积网络对图像特征抽取和表示的优异性能，来代替自编码器的NN网络。 当然，很多人也使用MNIST等数据集，使用CAE做图像去噪等...
CAE(Convolutional Auto-Encode) 卷积自编码
Losteng的博客
04-05 3万+
最近复习一下之前看的深度学习的网络，在deeplearning-toolbox中看到一个CAE一时没想起来就看了一下官方的解释 CAE(Convolutional Auto-Encode) 卷积自编码 ，对于这个深度学习的网络的的解释很少。 下面谈一下自己的认识，算是总结吧 CAE(Convolutional Auto-Encode) 卷积自编码 :一种卷积自编码器，其实现的过程与Aut
卷积自编码器CAEs
ヤ亽o﹏妳的博客
08-13 8857
https://www.cnblogs.com/cvtoEyes/p/8848815.html https://blog.youkuaiyun.com/woshisunwen/article/details/82830022
Convolutional Auto-Encoders卷积自编码器（Matlab代码）
07-17
Convolutional Auto-Encoders卷积自编码器的Matlab代码，可以运行caeexamples.m对手写数据mnist_uint8进行训练测试
CAE.rar_CAE 自编码_CAE自编码器_CNN 编码器_卷积自编码_深度自编码
07-15
卷积自编码器，深度学习中的CAE，类似CNN，是深度学习的基本框架之一
卷积自编码去噪-tensorflow实现
11-30
卷积自编码器（Convolutional Autoencoder，CAE）是一种深度学习模型，它结合了卷积神经网络（CNN）的特性与自编码器（Autoencoder）的理念。自编码器主要用于数据的无监督学习，通过学习输入数据的压缩表示和解压...
AutoEncoder-master.zip_CAE自编码_autoencoder_sae_sae 编码器_自编码
07-15
自编码器（AutoEncoder）是一种无监督学习方法，主要用于数据降维、特征学习以及潜在表示。在本资源“AutoEncoder-master.zip”中，包含了不同类型的自编码器实现，如Stacked AutoEncoders (SAEs) 和Convolutional ...
卷积自编码器（CAE）
最新发布
02-21
### 卷积自编码器(CAE)概念 卷积自编码器（Convolutional Autoencoder, CAE）是一种特殊的神经网络架构，旨在通过无监督的方式学习数据的有效表示。这种模型特别适用于图像处理领域，在保持输入输出一致性的前提下...
keras自动编码器实现系列之卷积自动编码器操作
09-16
主要介绍了keras自动编码器实现系列之卷积自动编码器操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
毕业设计——计算机视觉，使用卷积自编码器来对图像数据进行降维处理
abackcab的博客
02-14 744
使用CAE压缩图片，得到压缩的特征。例如将400*300维度的图片压缩为600维的特征。需要根据图片分辨率设置CAE格式。
PyTorch深度学习实战（28）——卷积自编码器(Convolutional Autoencoder)
盼小辉丶的博客
12-21 1万+
卷积自编码器是一种基于卷积神经网络结构的自编码器，适用于处理图像数据。在本节中，我们介绍了卷积自编码器的模型架构，使用 PyTorch 从零开始实现在 MNIST 数据集上训练了一个简单的卷积自编码器，并使用 t-SNE 技术在二维平面中表示了所有测试图像的潜变量。
卷积自编码器
qq_33415776的博客
09-12 1720
tensorflow+vgg16构建图片卷积自编码器
Pytorch：基于转置卷积解码的卷积自编码网络
Jingmin Wei's Blog
03-11 5352
介绍了解码器为转置卷积的卷积自编码网络，并用该网络进行图像去噪，计算了峰值信噪比，并可视化相关结果。
卷积自编码器_利用卷积自编码器对图片进行降噪
weixin_39799290的博客
12-01 671
作者丨天雨粟知乎专栏丨机器不学习地址丨https://zhuanlan.zhihu.com/p/27902193前言这周工作太忙，本来想更把Attention tranlsation写出来，但一直抽不出时间，等后面有时间再来写。我们这周来看一个简单的自编码器实战代码，关于自编码器的理论介绍我就不详细介绍了，网上一搜一大把。最简单的自编码器就是通过一个encoder和decoder来对输入...
【计算机视觉】卷积自编码器：用卷积层构建auto-encoder
littlemichelle
10-24 6570
当输入是图像时，使用卷积神经网络是更好的。卷积自编码器的编码器部分由卷积层和MaxPooling层构成，MaxPooling负责空域下采样。而解码器由卷积层和上采样层构成。50个epoch后，损失val_loss: 0.1018。 input_img = Input(shape=(28, 28, 1)) x = Convolution2D(16, (3, 3), activation='re...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

橙色小博

一起在人工智能领域学习进步！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值