毕业设计：基于深度学习的手写文字识别系统 GAN 机器视觉

前言

    📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

        🚀对毕设有任何疑问都可以问学长哦!

       大家好,这里是海浪学长计算机毕设专题,本次分享的课题是

       🎯XXX

项目背景

数据集

设计思路

卷积神经网络（CNN）是一类具有深度结构的前馈神经网络，主要通过卷积计算来提取特征信息。它由卷积层、池化层和全连接层组成。卷积层的作用是通过加权平均和乘加等运算提取数据的特征，生成特征图。池化层通常位于卷积层之后，通过压缩数据和减少参数量来实现特征降维的效果。池化层使得模型更关注特征的存在与否而不关心其具体位置。全连接层在整个卷积神经网络中充当"分类器"的角色，对特征图进行分类，得到输入图像的预测分类标签。残差网络是一种解决深层网络梯度问题的方法，它通过跳跃连接将浅层特征直接传递到深层特征，实现了信息的快速传递和梯度的有效传播。这种结构可以有效地训练深层网络，避免梯度消失或梯度爆炸的问题，提高了模型的性能和训练效率。

卷积神经网络（CNN）在捕获二维数据特征（如图像数据）方面表现较好，但在处理时序数据（如文字信息和视频信息）时，很难有效捕获时序数据的上下文关系特征。这时，循环神经网络（RNN）是一种更适合处理序列数据的神经网络。RNN是一类用于处理序列数据的神经网络，能够有效地考虑时序数据的上下文关系信息。RNN具有时间步的概念，可以将序列中的各个时间步的状态连接在一起。RNN可以输入多个有序信息，并根据时序顺序进行逐步处理。RNN隐藏层神经元的输出可以传递到下一时间步的隐藏层神经元，从而帮助该层输入信息的特征表达，有效地实现了神经网络中的记忆功能。

长短期记忆网络（LSTM）是一种基于循环神经网络（RNN）的模型，它在处理序列数据时具有更加细致的内部处理，能够有效地解决RNN存在的梯度爆炸和梯度消失等问题。LSTM的基本原理与RNN相似，但引入了三种类型的门控单元，包括遗忘门、记忆门和输出门。这些门控单元模拟了神经网络在不同阶段对特征信息的处理过程。遗忘门用于选择性地遗忘上一个时间步的输入信息，记忆门用于有选择地存储当前时间步的输入信息，而输出门决定哪些信息将被输出。

通过引入门控机制，LSTM能够更加灵活地管理依赖性信息，实现对序列数据的长期依赖性建模。相比传统的RNN模型，LSTM在处理序列数据时具有更好的记忆能力和表达能力，避免了仅进行简单记忆传递的缺陷。

循环门控单元（GRU）是LSTM模型的一种变体，旨在解决LSTM门控网络结构复杂且冗余的问题。GRU网络模型由更新门和重置门组成，相比于LSTM，GRU简化了门控单元的结构。GRU将LSTM的遗忘门和记忆门合并成一个更新门，用于控制前一时间步的隐藏状态对当前时间步的影响。而重置门直接作用于前一时间步的隐藏状态，类似于LSTM中的更新门，用于决定前一时间步的隐藏状态在当前时间步的重置程度。重置门与更新门的区别在于它们的线性变换参数和用途不同。

生成器是GAN的关键组件，它负责学习原始数据的分布并生成逼真的样本。生成器通过不断学习训练集中真实数据的分布特征，最终达到生成的数据与真实数据难以区分的效果。生成器的输入通常是一个随机噪声向量，例如100维的随机向量。理想情况下，生成器能够模拟任意数据的分布情况，生成难以辨别真伪的样本数据。因此，GAN可以被广泛应用于数据增强等任务中。

判别器是GAN中的另一个组件，其目标是准确区分输入数据是由生成器生成的假数据还是真实数据。判别器本质上是一个有监督的二分类模型，通过训练来提高对真实数据和生成数据的区分能力。判别器的训练过程与生成器的训练过程相互对抗，生成器通过不断优化生成的样本以欺骗判别器，而判别器则努力提高对生成样本的识别能力。

原始的生成对抗网络（GAN）存在一个难以解决的问题，即判别器越好，生成器的梯度消失问题越严重。这是因为原始GAN使用的生成器损失是最小化真实分布与生成分布之间的Jensen-Shannon（JS）散度，但当真实分布与生成分布没有重叠部分时，JS散度会退化为常数，导致梯度消失问题变得突出。Wasserstein距离（也称为Earth-Mover距离），用于度量真实样本和生成样本之间的距离。Wasserstein距离在度量两个分布之间的距离时具有更好的性质，即使两个分布没有重叠部分，它仍然能够较好地度量它们之间的距离。因此，Wasserstein距离被用来代替JS散度，作为生成分布和真实分布之间的度量。

Wasserstein生成对抗网络（WGAN）具有优越的平滑特性，从理论上解决了生成对抗网络训练过程中梯度消失的问题。它不仅解决了梯度消失问题，还解决了训练不稳定的困扰，并且不需要再平衡生成器和判别器的训练程度。WGAN的优势在于从理论上解决了梯度消失问题，使得训练过程更加稳定和快速收敛，并且生成的数据质量更好

条件手写古文字元生成模型，通过融合边缘注意力的方式解决了图像古文字数据增强中边缘特征不够重视和模式崩溃的问题。该模型由边缘特征提取模块和数据生成模块组成，利用改进的轻量化注意力模型SENet来捕捉和强化文字结构特征中的边缘信息。生成模块利用输入特征和噪音生成多样性丰富、真假难辨的古文字图像。通过这种方法，EAF-GAN能够敏感地处理古文字的边缘变化，并实现可控的生成过程，提高了古文字数据增强的效果。

数据生成模块是蒙古文字元样本数据生成的核心模块，采用条件生成对抗网络（CGAN）作为基础模型。相比于基本的CGAN模型，本文在数据生成模块中引入了双噪音，并通过特征多样正则项损失来监督生成过程，增强生成图像的多样性，以解决生成模型出现模式崩溃现象的问题。为了使数据生成模块能够关注蒙古文字元的文字结构特征，将文字标签的表示形式从one-hot修改为文字边缘特征Fc。这个特征是通过将结构语义特征作用于卷积、池化和全连接层获得的，强化了手写文字的边缘信息。

相关代码示例：

海浪学长项目示例：

更多帮助