C++从零实现深度神经网络之二——前向传播和反向传播

最新推荐文章于 2024-12-24 16:22:18 发布

自由如风呼呼呼

最新推荐文章于 2024-12-24 16:22:18 发布

阅读量813

点赞数

分类专栏： C++ linux 编程语言文章标签： C++ linux C语言编程语言程序员

本文链接：https://blog.youkuaiyun.com/weixin_44363885/article/details/95499979

版权

本文介绍了C++从零实现深度神经网络的前向传播和反向传播过程。前向传播包括线性运算和非线性运算，涉及权重矩阵、偏置和激活函数。反向传播利用链式求导法则更新权重，通过计算输出误差、delta误差和权值更新来优化模型。文章提供了关键代码示例，并推荐了一篇详细教程帮助理解反向传播的原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前向过程

如前所述，前向过程分为线性运算和非线性运算两部分。相对来说比较简单。

线型运算可以用Y = WX+b来表示，其中X是输入样本，这里即是第N层的单列矩阵，W是权值矩阵，Y是加权求和之后的结果矩阵，大小与N+1层的单列矩阵相同。b是偏置，默认初始化全部为0。不难推知（鬼知道我推了多久！），W的大小是(N+1).rows * N.rows。正如上一篇中生成weights矩阵的代码实现一样:

weights[i].create(layer[i + 1].rows, layer[i].rows, CV_32FC1);

非线性运算可以用O=f(Y)来表示。Y就是上面得到的Y。O就是第N+1层的输出。f就是我们一直说的激活函数。激活函数一般都是非线性函数。它存在的价值就是给神经网络提供非线性建模能力。激活函数的种类有很多，比如sigmoid函数，tanh函数，ReLU函数等。各种函数的优缺点可以参考更为专业的论文和其他更为专业的资料。

我们可以先来看一下前向函数forward()的代码：

    //Forward
    void Net::farward()
    {
        for (int i = 0; i < layer_neuron_num.size() - 1; ++i)
        {
            cv::Mat product = weights[i] * layer[i] + bias[i];
            layer[i + 1] = activationFunction(produc

最低0.47元/天解锁文章