使用tiny-dnn实现MNIST手写数字识别教程-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00862/article/details/148488418

使用tiny-dnn实现MNIST手写数字识别教程

tiny-dnn header only, dependency-free deep learning framework in C++14 项目地址: https://gitcode.com/gh_mirrors/ti/tiny-dnn

前言

MNIST手写数字识别是深度学习领域的经典入门项目。本文将详细介绍如何使用tiny-dnn深度学习框架实现一个基于LeNet-5架构的MNIST手写数字分类器。tiny-dnn是一个轻量级的C++深度学习库，非常适合嵌入式设备和资源受限环境。

1. MNIST数据集简介

MNIST数据集包含60,000个训练样本和10,000个测试样本，每个样本都是28×28像素的灰度手写数字图像(0-9)。这些图像已经过归一化处理，并居中显示。

在tiny-dnn中处理MNIST数据时，我们通常会对原始图像进行以下预处理：

将像素值从[0,255]缩放到[-1.0,1.0]
在图像四周添加2像素的边框，使图像尺寸变为32×32

2. LeNet-5网络架构

LeNet-5是由Yann LeCun提出的经典卷积神经网络，最初用于银行支票上的手写数字识别。在tiny-dnn中实现的改进版LeNet-5架构如下：

输入层：32×32图像
C1层：5×5卷积，6个特征图，输出28×28
S2层：2×2平均池化，输出14×14
C3层：5×5卷积，16个特征图，输出10×10
S4层：2×2平均池化，输出5×5
C5层：5×5卷积，120个特征图，输出1×1
F6层：全连接层，120→10
输出层：10个神经元对应0-9数字分类

3. 网络构建详解

在tiny-dnn中构建LeNet-5网络的代码如下：

network<sequential> nn;
adagrad optimizer;

// 定义连接表(实现C3层的稀疏连接)
static const bool tbl[] = {
    O, X, X, X, O, O, O, X, X, O, O, O, O, X, O, O,
    // ... 省略部分连接表数据
};

// 构建网络
nn << convolutional_layer(32, 32, 5, 1, 6, padding::valid, true, 1, 1)
   << tanh_layer(28, 28, 6)
   << average_pooling_layer(28, 28, 6, 2)
   // ... 省略部分网络层
   << fully_connected_layer(120, 10, true)
   << tanh_layer(10);

关键点说明：

connection_table实现了C3层的稀疏连接特性
每层卷积后使用tanh激活函数
使用Adagrad优化算法
默认使用tiny-dnn后端引擎，也支持AVX加速

4. 数据加载与预处理

tiny-dnn提供了便捷的MNIST数据加载函数：

std::vector<label_t> train_labels, test_labels;
std::vector<vec_t> train_images, test_images;

parse_mnist_labels("train-labels.idx1-ubyte", &train_labels);
parse_mnist_images("train-images.idx3-ubyte", &train_images, -1.0, 1.0, 2, 2);
parse_mnist_labels("t10k-labels.idx1-ubyte", &test_labels);
parse_mnist_images("t10k-images.idx3-ubyte", &test_images, -1.0, 1.0, 2, 2);

5. 训练过程与回调函数

训练过程中可以设置回调函数监控训练进度：

progress_display disp(train_images.size());
timer t;

auto on_enumerate_epoch = [&](){
    // 每个epoch结束时测试准确率
    tiny_dnn::result res = nn.test(test_images, test_labels);
    cout << res.accuracy() << endl;
    t.restart();
};

auto on_enumerate_minibatch = [&](){
    disp += minibatch_size; // 更新进度条
};

// 开始训练
nn.train<mse>(optimizer, train_images, train_labels, 
             minibatch_size, num_epochs,
             on_enumerate_minibatch, on_enumerate_epoch);

6. 模型保存与加载

训练完成后可以保存模型供后续使用：

nn.save("LeNet-model");  // 保存模型
nn.load("LeNet-model");  // 加载模型

7. 模型应用示例

加载训练好的模型进行数字识别：

vec_t data;
convert_image("test.bmp", -1.0, 1.0, 32, 32, data);

auto res = nn.predict(data);
// 输出top-3预测结果
for (int i = 0; i < 3; i++) {
    cout << scores[i].second << "," << scores[i].first << endl;
}

典型输出示例：

4,78.1403  // 预测为数字4，置信度78.14%
7,33.5718  // 第二可能为数字7
8,14.0017  // 第三可能为数字8

8. 可视化分析

tiny-dnn支持将网络各层的输出可视化：

// 保存各层输出图像
for (size_t i = 0; i < nn.depth(); i++) {
    nn[i]->output_to_image().save("layer_" + to_string(i) + ".png");
}

// 保存第一层卷积核权重
nn.at<convolutional_layer>(0).weight_to_image().save("weights.png");

这些可视化结果可以帮助理解网络的工作机制和特征提取过程。