深度学习入门笔记2#深度学习所需要的计算函数与层

深度学习基础：实现计算函数与神经网络层,

原创

已于 2023-08-14 17:44:36 修改 · 186 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #笔记 #人工智能

于 2023-08-14 17:44:07 首次发布

本文介绍了如何实现深度学习中的基本计算函数（如ReLU、Sigmoid、Softmax和损失函数）以及各层（如Affine层）的功能，包括前向传播和反向传播算法，为初学者提供了构建神经网络的基础框架。

深度学习入门笔记2-深度学习所需要的计算函数与层

通过学习我们知道：全连接神经网络的实现呢，是有数据集与神经网络组成的。
神经网络又是由输入层、中间的全连接层以及最后的输出层组成的。
整个网络标志成一个多维的矩阵，神经网络各个节点包括一些偏置和权重就是矩阵里的元素。
而每一层于每一层之间的连接是通过一些，独特设计好的计算函数来达到可以使神经网络完成功能的效果。

那么这一篇我们来实现一下这些计算函数

我们先来列举一下我们需要实现的东西都有哪些

我们的实现由网络和数据集组成：

在这里插入图片描述

数据集我们已经实现完了现在我们来看我们的网络，我们这次来完成它的基层的计算函数和层。

在这里插入图片描述

首先是左侧基本的计算函数

# 此模块用于实现激活函数,损失函数以及层的误差反向传播算法
import numpy as np

# 激活函数--------------------------------------------------


# 恒等函数-输出层
def identity_function(x):
    """
    (统一写法,在输出层对于回归问题用恒等函数,
    分类问题用softmax函数,
    避免以后想改的时候看不懂自己的代码O(∩_∩)O~)
    """
    return x


# softmax函数
def softmax(x):
    if x.ndim == 2:
        x = x.T
        x = x - np.max(x, axis=0)
        y = np.exp(x) / np.sum(np.exp(x), axis=0)
        return y.T

    x = x - np.max(x)
    return np.exp(x) / np.sum(np.exp(x))


# 阶跃函数
def step_funciton(x):
    """
    输入大于0输出1,否则输出0
    """
    return np.array(x > 0, dtype=np.int)


# S型函数
def sigmod(x):
    return 1 / (1 + np.exp(-x))


# ReLu函数
def relu(x):
    return np.maximum(0, x)


# 损失函数--------------------------------------------------


# 均方误差
def mean_squared_error(y, t):
    return 0.5 * np.sum((y - t) ** 2)


# 交叉熵误差
def cross_entropy_error(y, t):
    if y.ndim == 1:
        t = t.reshape(1, t