深度学习系列（2）：深度神经网络（DNN）详解

最新推荐文章于 2025-08-02 18:46:40 发布

原创最新推荐文章于 2025-08-02 18:46:40 发布 · 875 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #dnn #人工智能

深度学习系列专栏收录该内容

14 篇文章

订阅专栏

深度学习系列（2）：深度神经网络（DNN）详解

深度神经网络（Deep Neural Networks, DNN）是深度学习的核心模型之一，它由多个隐藏层构成，能够学习复杂的特征表示，在多个领域取得了优异的表现。

1. 深度神经网络的结构

DNN 由输入层、多个隐藏层和输出层组成，每层包含多个神经元（Neuron），层与层之间通过**权重（Weights）和偏置（Biases）**连接。网络的主要组成部分包括：

输入层（Input Layer）：接收原始数据，如图像像素、文本词向量等。
隐藏层（Hidden Layers）：多个隐层通过非线性激活函数（如 ReLU）实现特征提取。
输出层（Output Layer）：根据任务类型（分类或回归）输出最终预测结果。

2. DNN 的前向传播（Forward Propagation）

在前向传播过程中，数据从输入层经过多个隐藏层传递到输出层，每个神经元的计算公式如下：

[ z = W \cdot x + b ]
[ a = \sigma(z) ]

其中：

( W ) 是权重矩阵，( b ) 是偏置项。
( \sigma ) 是激活函数，如 ReLU（Rectified Linear Unit）。

3. DNN 的反向传播（Backpropagation）

DNN 通过**反向传播（Backpropagation, BP）**算法优化权重和偏置，核心思想是利用梯度下降法（Gradient Descent）最小化损失函数。

反向传播的核心步骤：

计算损失（Loss）：如均方误差（MSE）或交叉熵（Cross Entropy）。
计算梯度：利用链式法则计算每个参数的梯度。
更新权重：使用优化算法（如 SGD 或 Adam）更新参数。

4. 使用 PyTorch 实现一个 DNN

以下代码演示了如何使用 PyTorch 搭建一个简单的 DNN：

import torch
import torch.nn as nn
import torch.optim as optim

# 定义深度神经网络
class DNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(DNN, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        x = self.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 创建模型
model = DNN(input_size=10, hidden_size=20, output_size=1)

# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.01)

# 打印模型结构
print(model)