Tiny-DNN深度学习框架使用指南

Tiny-DNN深度学习框架使用指南

tiny-dnn header only, dependency-free deep learning framework in C++14 项目地址: https://gitcode.com/gh_mirrors/ti/tiny-dnn

前言

Tiny-DNN是一个轻量级的深度学习框架，专为嵌入式系统和资源受限环境设计。本文将详细介绍Tiny-DNN的核心功能和使用方法，帮助开发者快速上手并应用于实际项目中。

网络模型构建

Tiny-DNN支持两种网络模型构建方式：顺序模型(Sequential)和图模型(Graph)。

顺序模型构建

顺序模型是最简单的线性堆叠方式，通过<<操作符将各层连接起来：

// 构建一个简单的CNN网络
network<sequential> net;
net << convolutional_layer(32, 32, 5, 1, 6) << tanh()  // 32x32输入，5x5卷积核，6个特征图
    << average_pooling_layer(28, 28, 6, 2) << tanh()   // 28x28输入，2x2池化
    << fully_connected_layer(14 * 14 * 6, 120) << tanh()
    << fully_connected_layer(120, 10);

对于多层感知机(MLP)，可以使用make_mlp快捷函数：

// 构建一个三层的MLP网络
auto mlp = make_mlp<tanh>({32*32, 300, 10});

图模型构建

图模型适合构建具有分支/合并结构的复杂网络：

// 声明各层节点
layers::input in1(shape3d(3, 1, 1));
layers::input in2(shape3d(3, 1, 1));
layers::add added(2, 3);
layers::fc out(3, 2);
activation::relu r();

// 连接各层
(in1, in2) << added;
added << out << r;

// 构建图网络
network<graph> net;
construct_graph(net, { &in1, &in2 }, { &out });

模型训练

回归任务训练

使用fit函数进行训练，需指定损失函数类型：

network<sequential> net;
adagrad opt;  // 使用Adagrad优化器
net << layers::fc(2, 3) << activation::tanh() 
    << layers::fc(3, 1) << activation::softmax();

// 训练数据
std::vector<vec_t> input_data  { { 1, 0 }, { 0, 2 } };
std::vector<vec_t> desired_out {    { 2 },    { 1 } };

// 开始训练
net.fit<mse>(opt, input_data, desired_out, 1, 30);

分类任务训练

对于分类任务，可以使用train函数，它接受类别标签而非输出向量：

std::vector<vec_t> input_data    { { 1, 0 }, { 0, 2 } };
std::vector<label_t> desired_out {        3,        1 };

net.train<mse>(opt, input_data, desired_out, 1, 30);

训练回调

可以注册回调函数在训练过程中执行特定操作：

int epoch = 0;
net.fit<mse>(opt, train_data, train_labels, 50, 20,
    [](){ /* 每个mini-batch后执行 */ },
    [&](){ /* 每个epoch后执行 */
        result res = net.test(test_data, test_labels);
        cout << "准确率:" << res.num_success << "/" << res.num_total << endl;
    });

模型评估与使用

预测

vec_t input = {1.0, 2.0, 3.0};
vec_t result = net.predict(input);  // 获取输出向量

// 分类任务专用函数
label_t predicted_label = net.predict_label(input);  // 预测类别
float confidence = net.predict_max_value(input);    // 预测置信度

评估

// 计算损失值
double loss = net.get_loss<mse>(test_data, test_targets);

// 测试准确率
result res = net.test(test_data, test_labels);
cout << "测试准确率:" << res.accuracy() << endl;

模型可视化

网络结构可视化

可以生成Graphviz格式的网络结构图：

graph_visualizer viz(net, "网络结构");
std::ofstream ofs("network.dot");
viz.generate(ofs);

激活和核可视化

// 可视化第一层的激活
image img = net[0]->output_to_image();
img.write("layer0_activations.bmp");

// 可视化卷积核
image kernel_img = net.at<conv>(0).weight_to_image();
kernel_img.write("conv_kernels.bmp");

模型保存与加载

// 保存完整模型(结构和权重)
net.save("model.bin");

// 仅保存权重
net.save("weights.bin", content_type::weights);

// 加载模型
network<sequential> new_net;
new_net.load("model.bin");

高级功能

冻结层

net[1]->set_trainable(false);  // 冻结第二层

权重初始化

// Xavier初始化
nn.weight_init(weight_init::xavier());

// 常量初始化
nn.bias_init(weight_init::constant(1.0));

性能调优

// 设置并行训练线程数
#define CNN_TASK_SIZE 4  // 在config.h中修改

结语

Tiny-DNN虽然轻量，但功能齐全，非常适合资源受限环境下的深度学习应用开发。通过本文的介绍，相信读者已经掌握了Tiny-DNN的核心使用方法。在实际项目中，可以根据需求灵活组合各种功能，构建高效的深度学习解决方案。

tiny-dnn header only, dependency-free deep learning framework in C++14 项目地址: https://gitcode.com/gh_mirrors/ti/tiny-dnn