爆肝万字,终于搞定这篇⛵神经网络搭建全全全流程!学不会你来找我~

神经网络基础-从零开始搭建一个神经网络 人工神经网络(Articial Neural Network,简写为ANN)也称为神经网络(NN),是一种模仿生物神经网络和功能的计算模型,人脑可以看做是一个生物神经网络,由众多的神经元连接而成,各个神经元传递复杂的电信号,树突接收到输入信号,然后对信号进行处理,通过轴突输出信号。人工神经网络也是类似,通过模仿人脑的“学习机器”,通过不断“看”数据(比如图片,数字),自己总结规律,最终学会预测(比如分类图片)在深度学习中,损失函数是用来衡量模型参数的质量的函数,衡量的方式是比较网络输出和真实输出的差异。 阅读详情

💡 作者:韩信子@ShowMeAI
📘 深度学习实战系列:https://www.showmeai.tech/tutorials/42
📘 TensorFlow实战系列: https://www.showmeai.tech/tutorials/43
📘 本文地址:https://www.showmeai.tech/article-detail/290
📢 声明:版权所有,转载请联系平台与作者并注明出处
📢 收藏ShowMeAI查看更多精彩内容

深度学习是机器学习的一类算法,它应用各种结构的神经网络解决问题(深度学习中的『深度』指的是我们会通过深层次的神经网络构建强大的学习器),模仿人类获得某些类型知识的方式,与传统机器学习模型相比,神经网络有更灵活的结构设计,更强的学习能力,能支撑更大量级的数据学习,因此广泛引用于各种业务中。

神经网络是简化人脑的学习思考过程构建的结构,它是一个连接单元(神经元)的连接堆叠结构,我们设计这些单元,希望它们能在一定程度上模仿大脑中的突触,将信号传递给其他神经元,就像相互连接的脑细胞一样,可以在更多的时间里学习和做出决定。如下是简单的神经网络拆解图。

深度学习与神经网络有很多不同的结构和应用,想要系统学习这部分知识的同学,可以查看ShowMeAI制作的下列教程:

ShowMeAI 将在本文中,全面图解展示使用 Python 构建神经网络的过程,覆盖TensorFlow建模、可视化网络、模型预测结果归因与解释。

文中讲解到的板块和对应的实现 Python 代码,可以很容易地迁移应用于其他类似情况(复制、粘贴、运行),我们对代码做了详尽的注释讲解。

全文的总体内容结构包括:

  • 环境设置与TensorFlow工具库简介
  • 神经网络分解、输入、输出、隐藏层、激活函数
  • 使用深度神经网络进行深度学习
  • 进行模型设计(基于TensorFlow)
  • 可视化神经网络
  • 模型训练和测试
  • 模型可解释性

💡 环境设置

目前主流的神经网络工具库有2个:TensorFlow https://www.tensorflow.org/(由 Google 开发)和 PyTorch https://pytorch.org/ (由 Facebook 开发) 。 他们有很多相似之处,功能也都很全面,但总体来说前者更适合生产,而后者更适合构建快速原型。

这两个库都可以利用 GPU 的强大矩阵运算功能去加速神经网络的训练和预估,这对于处理大型数据集(如文本语料库或图像库)非常有用,而其对应的开发社区也有着丰富的资源,不管你解决何种问题,总可以找到相关的参考资料。

本篇内容使用到的是 TensorFlow 工具库。

对于本篇使用到的工具,ShowMeAI制作了快捷即查即用的工具速查表手册,大家可以在下述位置获得:

我们先在终端通过 pip install 命令安装 TensorFlow。

pip install tensorflow

现在我们可以在 Notebook 上导入 TensorFlow Keras 并开始编码:

# 导入所需的工具库
# tensorflow建模
from tensorflow.keras import models, layers, utils, backend as K
# 可视化
import matplotlib.pyplot as plt
# 特征重要度与模型归因分析
import shap

💡 神经网络拆解

神经网络的结构拆解的详细内容,推荐大家查看ShowMeAI的教程 📘 深度学习教程 | 吴恩达专项课程 · 全套笔记解读下述文章:

人工神经网络由若干层组成(每一层有独立的输入和输出维度)。这些层可以分组为:

  • 输入层 : 负责将输入向量传递给神经网络。如果我们有一个包含 3 个特征的矩阵(形状 N x 3),则该层将 3 个数字作为输入,并将相同的 3 个数字传递给下一层。
  • 隐藏层 : 代表中间节点,它们对数字进行多次变换以提高最终结果的准确性,输出由神经元的数量定义。
  • 输出层 : 返回神经网络最终输出的 如果我们进行简单的二元分类或回归,输出层应该只有 1 个神经元(因此它只返回 1 个数字)。在具有 5 个不同类别的多类别分类的情况下,输出层应有 5 个神经元。

最简单的神经网络形式是感知器,一个只有一层的模型,与线性回归/逻辑回归模型非常相似。

举个例子:假设我们有一个包含 N 行、3 个特征和 1 个目标变量(二分类,取值0或1)的数据集,如下图所示:

实际上,数据在输入神经网络之前应该进行幅度缩放,我们这里举例的输入数据直接用了0-1之间的值。类似其他机器学习模型,我们使用输入X去预测输出y:

而当我们提到『训练模型』时,我们指的是寻找最佳参数,使得模型预测的结果能最准确地预估目标值。

这里的最佳参数,在不同的情形下,有不同的解释:

  • 在线性回归中,是找到最佳权重w
  • 在基于树的模型(比如随机森林)中,它是找到最佳分裂点
  • 如下的感知器中,我们希望找到最佳的W(w1,w2,w3)

我们有一些权重初始化方法,在这里我们采用最简单的随机初始化,然后随着学习的进行调整优化参数。如下图,我们将权重 w 全部初始化为 1:

接下来我们要进行一个简单的计算来对结果进行预估,下面的操作类似于单个神经网络的计算,f(WX+b),其中f函数叫做激活函数。

激活函数是非线性的映射函数,使得神经网络具备强大的非线性拟合学习能力,如下是一些激活函数示意图(当然,实际我们可能会更多地使用ReLU等激活函数)。

激活函数详细讲解可以参考ShowMeAI的文章 深度学习教程 | 浅层神经网络。

加入我们采用上面的阶跃激活函数,那简单的计算过程如下:

我们得到了感知器的输出,这是一个单层神经网络,它接受一些输入并返回 1 个输出。现在模型的训练将继续通过将输出与目标进行比较,计算误差并优化权重,一遍又一遍地重复整个过程。

总结一下,这就是最简单的神经元,简化的结构表示如下:

💡 深度神经网络

可以说所有深度学习模型都是神经网络,但并非所有神经网络都是深度学习模型。一般来说,『深度』学习适用于算法至少有 2 个隐藏层(因此总共 4 层,包括输入和输出)。

关于深度神经网络的详细知识,大家可以阅读学习ShowMeAI的文章 📘 深度学习教程 | 深层神经网络。

想象一下在中间层添加3个和刚才一样的神经元:由于每个节点(加权和和激活函数)都返回一个值,我们将得到具有 3 个输出的 隐藏层 。

接下来我们使用这 3 个输出作为 第2个隐藏层 的输入,第2个隐藏层也同样计算得到 3 个结果值。最后,我们将添加一个 输出层 (仅 1 个节点),用它的结果作为我们模型的最终预测。如下图所示

注意,这些中间层可以具有不同数量的神经元,使用不同的激活函数。每个神经元计算都会有对应的权重,因此添加的层数越多,可训练参数的数量就越大。

完整的神经网络全貌如下图所示:

我们刚才是以口语化的方式来叙述整个神经网络的结构和计算过程的,但实际有一些细节点,包括:

  • 偏置项bias:在每个神经元内部,输入和权重的线性组合也包括一个偏差,类似于线性方程中的常数,因此神经元的完整公式是
  • 反向传播:在训练期间,模型通过将误差传播回节点并更新参数(权重和偏差)来学习以最小化损失。
  • 梯度下降:用于训练神经网络的优化算法,通过在最陡下降方向上重复步骤来找到损失函数的局部最小值。

💡 模型搭建

我们使用 TensorFlow 的 high level API(也就是 tensorflow.keras)来快速搭建神经网络 。

ShowMeAI制作了快捷即查即用的 Tensorflow 工具速查表手册,大家可以在下述位置获得:

我们先搭建刚才提到的最简单的感知器结果,它是一个只有一个 Dense 层的模型。 Dense层是最基本的层结构,是一个全连接的结构。

model = models.Sequential(name="Perceptron", 
    layers=[    
        layers.Dense(             # 全连接层
          name="dense",
          input_dim=3,        # 输入维度为3
          units=1,            # 1个节点
          activation='linear' # 激活函数(这里是线性函数)
    )
    ])
model.summary()

model.summary操作可以输出网络的结构和参数等信息。当前情况下,我们只有 4 个(3 个权重和 1 个偏置项),所以它非常精简。

要说明一点的是,如果我们这里要使用阶跃函数作为激活函数,我们需要自己定义(目前Tensorflow中的激活函数不包含这个我们临时设置的函数)

import tensorflow as tf
# 定义激活函数
def binary_step_activation(x):
    # 如果x>0返回1否则返回0 
    return K.switch(x>0, tf.math.divide(x,x), tf.math.multiply(x,0))

# 构建模型
model = models.Sequential(name="Perceptron", layers=[
      layers.Dense(             
          name="dense",
          input_dim=3,        
          units=1,            
          activation=binary_step_activation
      )
])

如果我们从感知器转延展到深度神经网络,大家可能会冒出来一些问题,比如:

❓ 应该设置多少层?

  • 这是一个没有标准答案的问题,隐层的加入对于模型的学习能力提升有帮助,可以拟合更复杂的非线性情况,但也可能会导致过拟合(当然我们可以通过 Dropout 等技术来缓解过拟合,关于 Dropout,大家可以阅读学习ShowMeAI的文章 📘 深度学习教程 | 深度学习的实用层面。

  • 一般来说,简单的问题我们会用很少的层数(不超过3个隐层),复杂的问题我们使用的层数更多

下图是层数和学习能力的一个示意图。

❓ 应该设定多少个神经元?

  • 这个有不同的设置方法,一个常用的设置方式是 (输入维度 + 输出维度)/2 。

❓ 选用什么激活函数?

  • 激活函数有很多选择,其中没有哪一个一定好于另外一个。最常用的是 ReLU ,一个分段线性函数,仅在输出为正时才返回。
  • 注意,在输出层必须具有与任务输出兼容的激活。例如,linear函数适用于回归问题,而 Sigmoid/softmax 经常用于分类。

我们来解决一个二分类问题,它有 N 个输入特征和 1 个二进制目标变量。

n_features = 10

model = models.Sequential(name="DeepNN", layers=[
    # 第1个隐层
    layers.Dense(name="h1", input_dim=n_features,
                 units=int(round((n_features+1)/2)), 
                 activation='relu'),
    layers.Dropout(name="drop1", rate=0.2),
    
    # 第2个隐层
    layers.Dense(name="h2", units=int(round((n_features+1)/4)), 
                 activation='relu'),
    layers.Dropout(name="drop2", rate=0.2),
    
    # 第3层
    layers.Dense(name="output", units=1, activation='sigmoid')
])
model.summary()

除了这种汉堡包式地堆叠神经网络层次构建网络的 Sequential 方法。tensorflow.keras 还有函数式编程结构,它可用于构建具有多个输入/输出的更复杂的模型。函数式编程接口相对 Sequential 有两个主要区别:

  • 需要指定输入层,而在 Sequential 类中它隐含在第一个 Dense 层的输入维度中。
  • 每一层可以直接应用于其他层的输出,形如: output = layer(…)(input)

我们用函数式方式重写上面的网络,代码如下:

# 感知器
inputs = layers.Input(name="input", shape=(3,))
outputs = layers.Dense(name="output", units=1, 
                       activation='linear')(inputs)
model = models.Model(inputs=inputs, outputs=outputs, 
                     name="Perceptron")

# 深层神经网络
# 输入层
inputs = layers.Input(name="input", shape=(n_features,))

# 隐层1
h1 = layers.Dense(name="h1", units=int(round((n_features+1)/2)), activation='relu')(inputs)
h1 = layers.Dropout(name="drop1", rate=0.2)(h1)

# 隐层2
h2 = layers.Dense(name="h2", units=int(round((n_features+1)/4)), activation='relu')(h1)
h2 = layers.Dropout(name="drop2", rate=0.2)(h2)

# 输出层
outputs = layers.Dense(name="output", units=1, activation='sigmoid')(h2)

# 完整的模型
model = models.Model(inputs=inputs, outputs=outputs, name="DeepNN")

💡 神经网络结构可视化

这个部分是工具部分,我们希望通过一段代码把多层的神经网络的大致结构绘制出来。当然,这里的结构只是一个简单的信息呈现,如果大家要深入理解神经网络的权重和激活函数等绘制,可以看ShowMeAI 后续的深入教程。

完整的代码如下:

'''
抽取tensorflow.keras模型中的每层信息
'''
def utils_nn_config(model):
    lst_layers = []
    if "Sequential" in str(model): #-> Sequential不显示输入层
        layer = model.layers[0]
        lst_layers.append({"name":"input", "in":int(layer.input.shape[-1]), "neurons":0, 
                           "out":int(layer.input.shape[-1]), "activation":None,
                           "params":0, "bias":0})
    for layer in model.layers:
        try:
            dic_layer = {"name":layer.name, "in":int(layer.input.shape[-1]), "neurons":layer.units, 
                         "out":int(layer.output.shape[-1]), "activation":layer.get_config()["activation"],
                         "params":layer.get_weights()[0], "bias":layer.get_weights()[1]}
        except:
            dic_layer = {"name":layer.name, "in":int(layer.input.shape[-1]), "neurons":0, 
                         "out":int(layer.output.shape[-1]), "activation":None,
                         "params":0, "bias":0}
        lst_layers.append(dic_layer)
    return lst_layers



'''
绘制神经网络的草图
'''
def visualize_nn(model, description=False, figsize=(10,8)):
    # 获取层次信息
    lst_layers = utils_nn_config(model)
    layer_sizes = [layer["out"] for layer in lst_layers]
    
    # 绘图设置
    fig = plt.figure(figsize=figsize)
    ax = fig.gca()
    ax.set(title=model.name)
    ax.axis('off')
    left, right, bottom, top = 0.1, 0.9, 0.1, 0.9
    x_space = (right-left) / float(len(layer_sizes)-1)
    y_space = (top-bottom) / float(max(layer_sizes))
    p = 0.025
    
    # 中间节点
    for i,n in enumerate(layer_sizes):
        top_on_layer = y_space*(n-1)/2.0 + (top+bottom)/2.0
        layer = lst_layers[i]
        color = "green" if i in [0, len(layer_sizes)-1] else "blue"
        color = "red" if (layer['neurons'] == 0) and (i > 0) else color
        
        ## 添加信息说明
        if (description is True):
            d = i if i == 0 else i-0.5
            if layer['activation'] is None:
                plt.text(x=left+d*x_space, y=top, fontsize=10, color=color, s=layer["name"].upper())
            else:
                plt.text(x=left+d*x_space, y=top, fontsize=10, color=color, s=layer["name"].upper())
                plt.text(x=left+d*x_space, y=top-p, fontsize=10, color=color, s=layer['activation']+" (")
                plt.text(x=left+d*x_space, y=top-2*p, fontsize=10, color=color, s="Σ"+str(layer['in'])+"[X*w]+b")
                out = " Y"  if i == len(layer_sizes)-1 else " out"
                plt.text(x=left+d*x_space, y=top-3*p, fontsize=10, color=color, s=") = "+str(layer['neurons'])+out)
        
        ## 遍历
        for m in range(n):
            color = "limegreen" if color == "green" else color
            circle = plt.Circle(xy=(left+i*x_space, top_on_layer-m*y_space-4*p), radius=y_space/4.0, color=color, ec='k', zorder=4)
            ax.add_artist(circle)
            
            ## 添加文本说明
            if i == 0:
                plt.text(x=left-4*p, y=top_on_layer-m*y_space-4*p, fontsize=10, s=r'$X_{'+str(m+1)+'}$')
            elif i == len(layer_sizes)-1:
                plt.text(x=right+4*p, y=top_on_layer-m*y_space-4*p, fontsize=10, s=r'$y_{'+str(m+1)+'}$')
            else:
                plt.text(x=left+i*x_space+p, y=top_on_layer-m*y_space+(y_space/8.+0.01*y_space)-4*p, fontsize=10, s=r'$H_{'+str(m+1)+'}$')
    
    # 添加链接箭头等
    for i, (n_a, n_b) in enumerate(zip(layer_sizes[:-1], layer_sizes[1:])):
        layer = lst_layers[i+1]
        color = "green" if i == len(layer_sizes)-2 else "blue"
        color = "red" if layer['neurons'] == 0 else color
        layer_top_a = y_space*(n_a-1)/2. + (top+bottom)/2. -4*p
        layer_top_b = y_space*(n_b-1)/2. + (top+bottom)/2. -4*p
        for m in range(n_a):
            for o in range(n_b):
                line = plt.Line2D([i*x_space+left, (i+1)*x_space+left], 
                                  [layer_top_a-m*y_space, layer_top_b-o*y_space], 
                                  c=color, alpha=0.5)
                if layer['activation'] is None:
                    if o == m:
                        ax.add_artist(line)
                else:
                    ax.add_artist(line)
    plt.show()

我们在之前的 2 个模型上尝试一下,首先是感知器:

visualize_nn(model, description=True, figsize=(10,8))

然后是深度神经网络:

当然,TensorFlow 本身也提供了一个绘制模型结构的方法,它不是像上述示例图一样的简单形式呈现,而是输出更多的模型层次信息,下面是我们对深度模型调用 plot_model 的结果。

utils.plot_model(model, to_file='model.png', show_shapes=True, show_layer_names=True)

同时也会生成名为model.png的图片保存在你本地笔记本电脑上。

💡 训练和测试评估

下一步是训练我们前面构建的深度学习模型。在 tensorflow.keras 中,我们需要先对模型『编译』,或者换句话说,我们需要定义训练过程中的一些细节,比如优化器Optimizer、损失函数Loss和评估准则Metrics。其中:

详细的编译代码如下:

# 定义评估准则
def Recall(y_true, y_pred):
    true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1)))
    possible_positives = K.sum(K.round(K.clip(y_true, 0, 1)))
    recall = true_positives / (possible_positives + K.epsilon())
    return recall

def Precision(y_true, y_pred):
    true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1)))
    predicted_positives = K.sum(K.round(K.clip(y_pred, 0, 1)))
    precision = true_positives / (predicted_positives + K.epsilon())
    return precision

def F1(y_true, y_pred):
    precision = Precision(y_true, y_pred)
    recall = Recall(y_true, y_pred)
    return 2*((precision*recall)/(precision+recall+K.epsilon()))
    
# 编译神经网络
model.compile(optimizer='adam', loss='binary_crossentropy', 
              metrics=['accuracy',F1]) 

我们当前是分类问题,如果是回归问题,我们可以选用 MAE 为损失,将 R方 作为度量。参考代码如下:

# 定义R方评估准则
def R2(y, y_hat):
    ss_res =  K.sum(K.square(y - y_hat)) 
    ss_tot = K.sum(K.square(y - K.mean(y))) 
    return ( 1 - ss_res/(ss_tot + K.epsilon()) )
    
# 编译神经网络
model.compile(optimizer='adam', loss='mean_absolute_error', 
              metrics=[R2])

神经网络的训练,大部分时候,不是一次性把数据都送入模型学习的(因为数据量非常大,通常GPU不足以容纳这种规模的数据,同时全量数据也容易陷入局部最低点)

关于评估准则,大家可以阅读ShowMeAI的文章 📘 深度学习教程 | 神经网络优化算法

我们通常会采用一个批次一个批次数据训练的方式,因此在开始训练之前,我们还需要确定 Epochs 和 Batches:其中Epochs代表全量数据迭代的次数,Batches代表单个批次数据样本的数量。

总的数据会拆分为若干批次(每个batch的样本数量越大,您需要的内存空间越多),反向传播和参数更在每批数据上都会进行。一个Epoch是对整个训练集的一次遍历。

如果我们手头有 100 个样本且batch大小为 20,则需要 5 个batch才能完成 1 个 epoch。batch大小尽量选择为2的倍数(常见:32、64、128、256),因为计算机通常以 2 的幂来组织内存。

在训练过程中,理想的状态是随着一轮一轮的数据迭代,评估指标在不断改进,损失在逐步减少。不过这个结果只表明在训练集数据上我们在学习,但在新数据上是否有同样的效果并不好确定。因此我们会保留一部分数据(20%左右)用于验证评估。

我们用代码来做说明,我们在这里简单地生成随机数据构建特征数据X和标签数据y,例如

import numpy as np
X = np.random.rand(1000,10)
y = np.random.choice([1,0], size=1000)

那我们可以基于下述方式对数据进行训练和评估

# 训练和评估
training = model.fit(x=X, y=y, batch_size=32, epochs=100, shuffle=True, verbose=0, validation_split=0.2)

# 绘制评估指标
metrics = [k for k in training.history.keys() if ("loss" not in k) and ("val" not in k)]    
fig, ax = plt.subplots(nrows=1, ncols=2, sharey=True, figsize=(15,3))
       
# 训练阶段 
ax[0].set(title="Training")    
ax11 = ax[0].twinx()    
ax[0].plot(training.history['loss'], color='black')    ax[0].set_xlabel('Epochs')    
ax[0].set_ylabel('Loss', color='black')    
for metric in metrics:        
    ax11.plot(training.history[metric], label=metric)    ax11.set_ylabel("Score", color='steelblue')    
ax11.legend()
        
# 验证集评估阶段
ax[1].set(title="Validation")    
ax22 = ax[1].twinx()    
ax[1].plot(training.history['val_loss'], color='black')    ax[1].set_xlabel('Epochs')    
ax[1].set_ylabel('Loss', color='black')    
for metric in metrics:          
    ax22.plot(training.history['val_'+metric], label=metric)    ax22.set_ylabel("Score", color="steelblue")    
plt.show()

得到的结果图如下所示(下2幅图分别为分类和回归场景下的训练集与验证集的loss和评估准则指标):

💡 模型可解释性

实际生产过程中,神经网络效果可能很好,但我们实际是不太方向直接把它当做一个黑盒来用的,我们希望对模型做一些可解释性分析,能部分地理解我们的模型。

我们在这里会用到一个模型可解释性工具 📘 Shap ,用它和神经网络搭配对模型做一些解释。

具体说来,对于每个样本的预测,我们结合shap都能够估计每个特征对模型预测结果的贡献,进而部分解释问模型的问题『为什么预测这是 1 而不是 0?』(二分类场景)。

参考代码如下:

'''
使用shap构建解释器
:parameter
    :param model: model instance (after fitting)
    :param X_names: list
    :param X_instance: array of size n x 1 (n,)
    :param X_train: array - if None the model is simple machine learning, if not None then it's a deep learning model
    :param task: string - "classification", "regression"
    :param top: num - top features to display
:return
    dtf with explanations
'''
def explainer_shap(model, X_names, X_instance, X_train=None, task="classification", top=10):
    # 构建解释器
    # 机器学习(树模型)
    if X_train is None:
        explainer = shap.TreeExplainer(model)
        shap_values = explainer.shap_values(X_instance)
    # 深度学习(神经网络)
    else:
        explainer = shap.DeepExplainer(model, data=X_train[:100])
        shap_values = explainer.shap_values(X_instance.reshape(1,-1))[0].reshape(-1)

    # 绘图
    # 分类场景
    if task == "classification":
        shap.decision_plot(explainer.expected_value, shap_values, link='logit', feature_order='importance',
                           features=X_instance, feature_names=X_names, feature_display_range=slice(-1,-top-1,-1))
    # 回归场景
    else:
        shap.waterfall_plot(explainer.expected_value[0], shap_values, 
                            features=X_instance, feature_names=X_names, max_display=top)

shap实际上是一个很有效的工具,大家在上述代码也可以看到,实际它可以应用在机器学习模型(如线性回归、随机森林)上,也可以应用在神经网络上。从代码中可以看出,如果 X_train 参数为 None,会选择机器学习模型进行解释,否则使用深度学习进行解释分析。

我们在Titanic分类问题和房价预估回归问题上进行测试:(对应的这两个案例大家可以在ShowMeAI后续的文章中找到)

i = 1explainer_shap(model, 
               X_names=list_feature_names, 
               X_instance=X[i], 
               X_train=X, 
               task="classification", # 分类任务
               top=10)

上图中,Titanic问题中,预测为『Survived』主要因素是变量 Sex_male = 0,即乘客是女性。

上图中,在房价预估的回归问题中,影响最大的因素是房屋的面积。

参考资料

神经网络的搭建 模块Module 为所有神经网络提供基本类 继承nn.Module类 1.初始化函数 2.前向传播函数(x先进性一个卷积1,在进行relu激活函数非线性处理。再进行一个卷积一个非线性处理) 搭建神经网络 阅读详情

相关推荐

搭建神经网络的基本步骤

1 搭建神经网络的步骤 搭建神经网络,可分为四步完成:准备工作、前向传播、反向传播、循环迭代 1-0 准备工作 导入模块,生成数据集 import 常量定义 生成数据集 1-1 前向传播 定义输入、输出和参数 x = ,y_= w1 = , w2 = a = ,y = 1-2 反向传播 定义损失函数、反向传播的方法 loss = train_step ...

倔强的大萝卜的博客 1万+

搭建神经网络(六步法)

六步法教你搭建简单的神经网络,适合大概的了解。

xiaiming0的博客 6438

J3:DenseNet算法实战与解析

在计算机视觉领域,卷积神经网络(CNN)已经成为最主流的方法,比如GoogleNet,VGG-16,Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现,ResNet可以训练出更深的CNN模型,从而实现更高的准确率。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”(shortcut, skip connection),进而训练出更深的CNN网络。今天我们要介绍的是DenseNet模型,它的基本思路与ResNet一致,但是它建立的是前面所有层与后面层的。

zoey123456789的博客 1304

【Pytorch】神经网络搭建

在之前我们学习了如何用Pytorch去导入我们的数据和数据集,并且对数据进行预处理。接下来我们就需要学习如何利用Pytorch去构建我们的神经网络了。

m0_61151031的博客 2855

YOLO11改进大全:卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

YOLOv11改进大全:卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

魔改工程师的博客 4554

手把手教你用MATLAB/Simulink模拟微电网潮流方向(附代码下载)

本文提供了一份详细的MATLAB/Simulink微电网潮流仿真实战指南。通过手把手教学,指导读者从零搭建包含光伏、储能和负荷的微电网模型,并模拟并网、孤岛等多种运行场景下的潮流方向变化。文章核心在于利用Simulink实现微电网的动态潮流分析与可视化,帮助工程师深入理解分布式能源系统中的功率平衡与控制策略。

weixin_28314575的博客 108

AI识万物:从0搭建和部署手语识别系统 ⛵

AI识万物:从0搭建和部署手语识别系统,检测手语并将翻译!搭建和部署完成后,你可以通过摄像头,轻松测试模型啦~

ShowMeAI研究中心 1万+

100kHz手持LCR表设计:高频阻抗测量与校准实战解析

阻抗测量是电子元件测试的基础,LCR表通过施加正弦激励并分析电压电流的幅值与相位,即可获取电容、电感、电阻的等效参数。在开关电源、无线充电等高频应用场景中,元件在100kHz下的ESR和阻抗特性尤为关键,传统10kHz手持仪表难以满足需求。本文从自动平衡桥原理出发,探讨如何将台式电桥的核心能力浓缩至手持设备,重点剖析高频寄生参数抑制、模拟链路设计、数字相敏检波算法及开路短路校准方法。通过实测数据验证,在100kHz频率下基本精度可达0.5%以内,为维修现场、产线抽检及硬件调试提供了可携带的精密测量方案。全文

weixin_33910191的博客 399

AI+医疗:使用神经网络进行医学影像识别分析 ⛵

U-Net是一种卷积网络架构,用于快速、精确地分割生物医学图像。本文讲解使用 U-Net 进行肺部影像分割的案例全过程:工具库&环境准备、数据读取、数据切分、TensorFlow IO准备、U-Net 网络构建、评估准则&损失函数、超参数设置&模型编译、回调函数&模型训练、模型加载&新数据预估。【代码与数据集亲测可运行】........................

ShowMeAI研究中心 1万+

电竞护航系统成品搭建俱乐部点单小程序开发三角洲小程序搭建

电竞护航系统成品搭建俱乐部点单小程序开发三角洲小程序搭建

dapengglove的博客 1685

Windows+VSCode+Cline+MCP全流程配置指南

本文提供了一份详细的Windows+VSCode+Cline+MCP全流程配置指南,旨在帮助开发者打造高效的AI辅助编码工作站。文章从环境准备讲起,逐步指导安装VSCode、配置Cline插件、搭建Node.js环境,并重点详解如何通过MCP为Cline集成文件系统和GitHub等工具服务器,实现用自然语言操控开发环境,从而显著提升日常编码与文件管理效率。

weixin_28840143的博客 554

2022了你还不会『低代码』?数据科学也能玩转Low-Code啦! ⛵

2022了你还不知道“低代码”?一起看看数据分析、机器学习、深度学习领域最受欢迎的 Python 低代码工具:D-Tale、AutoViz、Lux、Pandas-Profiling、PyCaret、PyTorch Lightning、Hugging Face Transformers。

ShowMeAI研究中心 1万+

EXCEL VBA从入门到精通 第一章:VBA入门

在VBA中,需要使用关键字Dim来定义一个变量,后面跟上变量名和变量的数据类型。例如,下面的代码定义了一个整型变量x和一个字符串变量name在VBA中,使用关键字Const来定义常量,后面跟上常量名和常量的值。例如,下面的代码定义了一个整型常量MAX_NUM和一个字符串常量MESSAGE需要注意的是,常量一旦被定义,其值就不能被改变。

1万+

听音识情绪 | 程序员手把手教你搭建神经网络,更快get女朋友情绪,求生欲max!⛵

太难了!xdm!哄女朋友太难了!本文手把手带大家构建一个处理和分类语音检测情绪的系统,完成求生欲max的「语音情感识别任务」

ShowMeAI研究中心 1万+

一文读懂5G网络整体架构(接入网+承载网+核心网)

接入网重构分级(分工更细、效率更高)、承载网三段化升级(管道更宽、更智能)、核心网服务化云化(管理更灵活、成本更低)最终实现“成本最优、资源灵活、场景适配”,才能支撑自动驾驶、工业互联网、智慧城市、VR/AR等各种新场景,真正走进我们的生活。

鲸落寰宇 430

Windows下超详细安装Anaconda3以及jupyter notebook

1.下载Anaconda安装包 Anaconda官网网站:https://www.anaconda.com/products/individual下载安装包速度比较慢,国内小伙伴不建议尝试。 我们可以使用清华大学开源软件镜像站:清华大学开源软件镜像站:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/,请选择适合自己系统自行下载。 下载完成后如下图: 1.安装Anaconda安装包 1.打开安装包,点击Next 2.点击I Agre

m0_37957160的博客 3802

实际应用效果不佳?来看看提升深度神经网络泛化能力的核心技术(附代码) ⛵

神经网络在学习能力与性能方面,远超传统机器学习算法,其大量层与数十亿参数的网络可以轻松学习数据的模式与规律,也容易陷入了『过拟合』问题。本篇梳理4类缓解过拟合的方法:数据增强、Dropout随机失活、L1和L2正则化、Early Stopping/早停止。

ShowMeAI研究中心 1万+

Pyinstaller打包为可执行文件编码错误的问题

Pyinstaller打包为可执行文件编码错误的问题 写好的python程序在vscode上运行没有任何问题,将程序利用pyinstaller打包后,运行程序发生了错误。 错误代码 UnicodeDecodeError: ‘utf-8' codec can't decode byte 0xce in position 20-21:invalid cotinuation byte 网上找到的解决方案是: 1.在命令行中输入 chcp 65001 2.按正常方式进行封装 pyinstaller

xuefeng_he的博客 1560

毫秒级!千万人脸库快速比对,上亿商品图片检索,背后的极速检索用了什么神器? ⛵

为了让计算机理解、处理和表征非结构化数据,我们通常将其转换为密集向量,而海量向量数据的存储、管理和查询并不简单。本文介绍 Milvus 这个开源向量数据库管理平台的优势、架构和使用案例,了解其在简化『机器学习操作(MLOps)』流程中的应用。...............

ShowMeAI研究中心 1万+

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

PyTorch新手必看:用CIFAR10数据集快速验证你的第一个CNN模型(附完整代码)

本文为PyTorch新手提供了使用CIFAR10数据集快速验证第一个CNN模型的完整指南。通过详细的代码示例,从数据加载、模型构建到训练评估,帮助初学者快速入门深度学习。特别介绍了torchvision工具包在数据处理中的关键作用,使读者能在短时间内完成端到端的模型验证流程。

weixin_30338481的博客 297

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

人工智能及自动驾驶技能知识汇总

人工智能及自动驾驶技能知识汇总

Make something people want. 669

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

《AI新时代:大一新生如何快速入门IT专业?》

AI新时代 大一新生IT起步 快速入门AI技巧 IT专业学习路径 Python编程入门 数据结构与算法基础 如何选择AI子领域 TensorFlow项目实践 大一新生IT实习经验 参与开源项目的好处 AI与未来技术趋势 IT行业最新动态 AI专业书籍推荐 在线学习AI的平台 深度学习与机器学习 大数据在AI中的应用 AI行业的未来前景 计算机视觉项目实例 自然语言处理的基础 AI行业的就业指导

猫头虎技术团队:授渔优于赠鱼,兴趣引领智慧,探索之乐尤显珍贵。商务合作+:Libin9iOak ,万粉变现+:优快云WF,猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务!全网搜:猫头虎技术团队,点击文章底部名片或直接私信我一切皆可谈,快找虎哥! 353

Pytorch入门(二)神经网络的搭建

本文简要的介绍了如何搭建一个神经网络,以及神经网络中常用到的几种操作方式。总结了输入层、卷积层、池化层、激活层、全连接层等概念与应用。

一个非常Cool的人 3368

如何自己创建一个简单的神经网络

MoXing: 模型定义你想要的神经网络模型self.hid1 = torch.nn.Linear(shuru,59)#定义第一个隐藏层(可无)#第一个参数输入(一般为上一层神经元数),这里shuru就是刚才定义的输入数#第一个参数输出(一般为下一层神经元数)self.hid2 = torch.nn.Linear(59, 59)#第二层(可无),同理torch.nn.init.xavier_uniform_(self.hid1.weight)#第一层w。

2301_79728788的博客 1497

创建自己的神经网络:基础模型的搭建

1.背景介绍 在深度学习领域,神经网络是最基本的构建块。它们可以用来解决各种问题,包括图像识别、自然语言处理、语音识别等。本文将介绍如何创建自己的神经网络,以及如何搭建基础模型。 1. 背景介绍 神经网络是模拟人脑神经元的计算模型,它由多个节点(神经元)和连接这些节点的权重组成。每个节点接收输入,进行计算,并输出结果。神经网络可以通过训练来学习,以便在未知数据上进行预测。 2. 核心概念与...

AI天才研究院 1881
上一篇: 裁员吵架散摊子, 马斯克:我太难了;狠心开源一个舆情获取项目;特征工程跟调参一样简单了?!NeRF大佬直呼卷不动了;前沿论文 | ShowMeAI资讯日报
下一篇: 嘘!摸鱼神器,别让老板知道!| 语音实时转文本,时序快速出预测,YOLOv6在就能用,一行命令整理CSV | ShowMeAI资讯日报
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值