1.神经网络基础

最新推荐文章于 2024-12-15 06:00:00 发布
翻译 最新推荐文章于 2024-12-15 06:00:00 发布 · 1k 阅读 · 4

1.感知机

就是一个很简单的模型，给定输入，输出0或1


2.多层感知机（MLP）


网络是密集的（dense），意味着一个层中的每一个神经元都会与前一层的每个神经元相连接，并且连接到下一层中的所有神经元。

3.训练感知机的问题以及应对之道

我们希望我们的学习是一点一点进步的，而不是跳跃的，对于下面函数来说，它的输出有一个很大的跳跃，不能够逐步学习。


所以我们需要一个函数，从0逐步变化到1，没有间断。从数学上讲，这意味着我们需要一个连续的函数，它允许我们计算导数

激活函数1 --sigmoid


如下图所示，当输入变化时，它在(0，1)中的输出变化很小。从数学上讲，该函数是连续的。下面的图表示一个典型的Sigmoid函数


sigmoid的表现与感知机是很相似的，但是却能逐步变化。

激活函数2 ---ReLU

f(x)=max(0,x)

ReLU非常好，因为其常常能产生很好的实验结果



4.激活函数

它是深度学习算法的基本构件，可以逐渐减少我们网络的错误。


5.实例入门---手写数字识别

mnist数据集，大家都很清楚了，训练集有60000个例子，测试集有10000个例子。每个mnist都是灰度图片，大小为28*28.

5.1独热编码（One-hot encoding （OHE））

将类别特征转换为数字特征，将数字0-9转化为一个10维向量。


5.2用keras定义一个简单的神经网络

先从简单入手。说明一下：我们将数据转化到0,1之间，格式为float32

from keras.models import Sequential
import numpy as np
from keras.datasets import mnist
from keras.layers import Dense,Activation
from keras.optimizers import SGD
from keras.utils import np_utils
np.random.seed(1671)#为了可复现

#参数定义
NB_EPOCH=200
BATCH_SIZE=128
VERBOSE=1
NB_CLASS=10
OPTIMIZER=SGD()
VALIDATION_SPLIT=0.2

#数据
(X_train,y_train),(X_test,y_test)=mnist.load_data()
RESHAPE=784
#将数据展开
X_train=X_train.reshape(60000,  RESHAPE)
X_test=X_test.reshape(10000,RESHAPE) 
#标准化
X_train/=255
X_test/=255
y_train=np_utils.to_categorical(y_train,NB_CLASS)
y_test=np_utils.to_categorical(y_test,NB_CLASS)

#定义模型
model=Sequential()
model.add(Dense(NB_CLASS,input_shape=(RESHAPE,)))
model.add(Activation('softmax'))

模型定义完成之后，必须要compile它才能被keras的backend（tensorflow或theano）执行。compile有以下选择：

  1. 需要优化器optimizer在训练模型的时候更新权重
  2. 需要loss function去指引方向
  3. 需要评估训练模型

loss function的选择有：

1.MSE：mean squared error，通过平方可以使错误更加明显


2.Binary cross-entropy：适用于二元预测


3.Categorical cross-entropy: 


metrics如下：

Accuracy：这是相对于目标的正确预测的比例。

Precision：This denotes how many selected items are relevant for a multilabel classification

Recall：This denotes how many selected items are relevant for a multilabel classification

model.compile(loss='categorical_crossentropy',optimizer=OPTIMIZER,metrics=['accuracy'])当模型

一旦模型compile完毕， 我们就可以用fit函数去训练了，它有以下几个参数：

  • epochs：这是模型暴露于训练集的次数。在每次迭代中，优化器试图调整权重，从而使目标函数最小化。
  • batch_size: 这是在优化器执行权重更新之前观察到的训练实例数。

keras的模型训练很是简单：

history=model.fit(X_train,y_train,batch_size=BATCH_SIZE,epochs=NB_EPOCH,verbose=VERBOSE,
                  validation_split=VALIDATION_SPLIT)
我们保留了一部分的培训集用于验证。关键的思想是，我们保留一部分培训数据，以便在训练过程中测量验证的性能。这是任何机器学习任务的良好做法，我们将在所有示例中采用这一做法


一旦对模型进行了训练，我们就可以在包含新的看不见的例子的测试集上对其进行评估，这样我们就可以得到目标函数所达到的最小值和评价度量所达到的最佳值。

请注意，训练集和测试集当然是严格分开的。在一个已经用于培训的例子上评估模型是没有意义的。学习本质上是一个旨在概括未见观察到的观察，而不是记住已经知道的东西的过程。

score=model.evaluate(X_test,y_test,verbose=VERBOSE)
print('Test score:',score[0])
print('Test accuracy:',score[1])


我们可以看到，最后的准确率大概是在92.77


5.3添加隐藏层改进网络

from keras.models import Sequential
import numpy as np
from keras.datasets import mnist
from keras.layers import Dense,Activation
from keras.optimizers import SGD
from keras.utils import np_utils
np.random.seed(1671)#为了可复现

#参数定义
NB_EPOCH=200
BATCH_SIZE=128
VERBOSE=1
NB_CLASS=10
OPTIMIZER=SGD()
N_HIDDEN=128
VALIDATION_SPLIT=0.2

#数据
(X_train,y_train),(X_test,y_test)=mnist.load_data()
RESHAPE=784
#将数据展开
X_train=X_train.reshape(60000,  RESHAPE)
X_test=X_test.reshape(10000,RESHAPE) 
X_train=X_train.astype('float32')
X_test=X_test.astype('float32')

#标准化
X_train=X_train/255
X_test=X_test/255
y_train=np_utils.to_categorical(y_train,NB_CLASS)
y_test=np_utils.to_categorical(y_test,NB_CLASS)

#定义模型
model=Sequential()
model.add(Dense(N_HIDDEN,input_shape=(RESHAPE,)))
model.add(Activation('relu'))
model.add(Dense(N_HIDDEN))
model.add(Activation('relu'))
model.add(Dense(NB_CLASS))
model.add(Activation('softmax'))
model.summary()#输出信息


model.compile(loss='categorical_crossentropy',optimizer=OPTIMIZER,metrics=['accuracy'])

history=model.fit(X_train,y_train,batch_size=BATCH_SIZE,epochs=NB_EPOCH,verbose=VERBOSE,
                  validation_split=VALIDATION_SPLIT)

score=model.evaluate(X_test,y_test,verbose=VERBOSE)
print('Test score:',score[0])
print('Test accuracy:',score[1])

可以发现，正确率提高到了：97.65


5.4进一步提高with dropout层

我们的正确率已经提高到97.65%。这才的改进很简单，我们决定随机删除一些在我们内部隐藏层密集网络中传播的值。这是一种众所周知的正则化方法，令人惊讶的是，随机删除一些值可以提高我们的性能。

from keras.models import Sequential
import numpy as np
from keras.datasets import mnist
from keras.layers import Dense,Activation,Dropout
from keras.optimizers import SGD
from keras.utils import np_utils
np.random.seed(1671)#为了可复现

#参数定义
NB_EPOCH=250
BATCH_SIZE=128
VERBOSE=1
NB_CLASS=10
OPTIMIZER=SGD()
N_HIDDEN=128
VALIDATION_SPLIT=0.2
DROPOYT=0.3

#数据
(X_train,y_train),(X_test,y_test)=mnist.load_data()
RESHAPE=784
#将数据展开
X_train=X_train.reshape(60000,  RESHAPE)
X_test=X_test.reshape(10000,RESHAPE) 
X_train=X_train.astype('float32')
X_test=X_test.astype('float32')

#标准化
X_train=X_train/255
X_test=X_test/255
y_train=np_utils.to_categorical(y_train,NB_CLASS)
y_test=np_utils.to_categorical(y_test,NB_CLASS)

#定义模型
model=Sequential()
model.add(Dense(N_HIDDEN,input_shape=(RESHAPE,)))
model.add(Activation('relu'))
model.add(Dropout(DROPOYT))
model.add(Dense(N_HIDDEN))
model.add(Activation('relu'))
model.add(Dropout(DROPOYT))
model.add(Dense(NB_CLASS))
model.add(Activation('softmax'))
model.summary()#输出信息


model.compile(loss='categorical_crossentropy',optimizer=OPTIMIZER,metrics=['accuracy'])

history=model.fit(X_train,y_train,batch_size=BATCH_SIZE,epochs=NB_EPOCH,verbose=VERBOSE,
                  validation_split=VALIDATION_SPLIT)

score=model.evaluate(X_test,y_test,verbose=VERBOSE)
print('Test score:',score[0])
print('Test accuracy:',score[1])

5.5测试不同的优化器

Kears应用了更快的梯度下降的变体---SGD随机梯度下降，还有两个更高级的优化技术--Adam和RMSprop。除了SGD的加速组件之外，Adam和RMSprop还包含了动量的概念，这会增加计算代价，但会增加收敛速度。，现在我们是试试另外两个:

from keras.optimizers import SGD,Adam,RMSprop

正确率什么就不粘贴在这了。


当然，为了更好得到调参，你还可以更改dropout的数值。


5.6增加epochs

让我们再做一次尝试，把训练时间从20点增加到200点。不幸的是，这种选择使我们的计算时间增加了10，但却没有结果。实验不成功，但我们知道如果我们花更多的时间学习，我们就不一定会提高。学习更多的是采用智能技术，而不一定是花费在计算上的时间。

所以有时候增加epochs并没有用。

5.7控制优化器的学习率

我们还可以做另一次尝试，即更改优化器的学习参数。如下图所示，最优值接近0.001，这是优化者的默认学习速率


5.8增加隐藏神经元数目

我们可以再做一次尝试，即改变内部隐藏神经元的数量。我们用越来越多的隐藏神经元报告实验结果。从下图我们可以看到，随着模型复杂性的增加，运行时间显著增加，因为有越来越多的参数需要优化。




所示，隐藏层的神经元数目又不是越多越好，也要适度增加。

5.9增加batch_size的大小

梯度下降试图最小化训练集中提供的所有示例的成本函数，同时，对于输入中提供的所有特性。随机梯度下降是一个成本较低的变量，它只考虑批大小示例。因此，让我们通过更改这个参数来查看行为。


5.10总结一下：

因此，让我们总结一下：使用五种不同的变量，我们能够将性能从92.36%提高到97.93%。首先，我们在keras中定义了一个简单的层网络。然后，我们通过添加一些隐藏层来改进性能。然后，通过在我们的网络中添加几个随机丢包，并通过试验不同类型的优化器来提高测试集的性能。下面的表总结了当前的结果：


（自己以后分析的时候也可以这样做）

然而，接下来的两个实验并没有提供显著的改进。增加内部神经元的数量会创建更复杂的模型，并且需要更昂贵的计算，但它只提供少量的收益。如果我们增加训练时间，我们就会得到同样的经验。最后一个实验是的批处理尺寸

5.11采用正则化以避免过拟合

从直觉上看，一个好的机器学习模型应该在训练数据上获得较低的误差。从数学上讲，这相当于给定机器学习模型所建立的训练数据上的损失函数最小化。这是由以下公式表示的：


然而，这可能还不够。一个模型可能会变得过于复杂，以便捕捉所有由训练数据固有的关系。这种复杂性的增加可能会产生两个负面后果。首先，复杂模型可能需要大量时间才能执行。第二，复杂模型可以在训练数据上获得非常好的性能--因为所有经过训练的数据中的内在关系都被记忆了，但是在验证数据上的性能不太好--由于模型无法对新的未见数据进行泛化。同样，学习更多地是关于泛化而不是记忆。


据经验，如果在训练中，如果在最初的loss下降后，loss开始增加，那就说明过拟合了。

为了解决过拟合问题，我们需要一种方法来捕捉一个模型的复杂性，即一个模型可以有多复杂。有什么可以解决的呢？一个模型只不过是一个权重向量。因此，模型的复杂性可以方便地表示为非零权重的个数。换句话说，如果我们有两个模型，m1和m2，就可以实现。在损失函数方面，我们应该选择最简单的模型，它具有最小的非零权重。我们可以使用一个超参数>=0来控制拥有一个简单模型的重要性，如下面的公式


为了解决过拟合问题，我们需要一种方法来捕捉一个模型的复杂性，即一个模型可以有多复杂。有什么可以解决的呢？一个模型只不过是一个权重向量。因此，模型的复杂性可以方便地表示为非零权重的个数。换句话说，如果我们有两个模型，m1和m2，就可以实现。在损失函数方面，我们应该选择最简单的模型，它具有最小的非零权重。我们可以使用一个超参数>=0来控制拥有一个简单模型的重要性，如下面的公式


有三种不同的正则化：

  • L1 regularization (also known as lasso)
  • L2 regularization (also known as ridge)
  • Elastic net regularization

正则化是提高网络性能的好方法，特别是当存在明显的过拟合情况时。

keras支持三种正则化，添加也很简单：

from keras import regularizers 
model.add(Dense(64, input_dim=64, kernel_regularizer=regularizers.l2(0.01)))


5.12超参数调参

前面的实验给出了对网络进行微调的机会。然而，这个例子中的工作并不一定适用于其他例子。对于给定的网络，确实有多个参数可以优化(例如隐藏神经元的数量、batch_szie、epochs，以及根据网络本身的复杂性而进行的更多)


超参数调参是寻找这些参数的最优组合，使损失函数最小化的过程。关键思想是，如果我们有n个参数，那么我们可以想象它们定义了一个n维的空间，目标是在这个空间中找到与成本函数的最优值相对应的点。实现这个目标的一种方法是在这个空间中创建网格，系统地检查每个网格顶点的成本函数所假定的值，换句话说，参数被划分成批次，并通过蛮力法检查不同的值组合。


给定输入，有以下几种方法计算输出：

  • model.evaluate(): This is used to compute the loss values
  • model.predict_classes(): This is used to compute category outputs
  • model.predict_proba(): This is used to compute class probabilities

6.对于反向传播的实用综述

多层感知器通过一个叫做反向传播的过程从训练数据中学习。这个过程可以被描述为一发现错误就逐步纠正错误的方法。让我们看看这个过程是如何工作的。

请记住，每个神经网络层都有一组相关的权重，这些权重决定了给定一组输入的输出值。此外，请记住，一个神经网络可以有多个隐藏层

在开始时，所有的权重都有一些随机分配。然后对训练集中的每一个输入激活网络：值从输入阶段向前传播到进行预测的输出阶段(请注意，我们只使用几个带绿色虚线的值来保持以下图表的简单性，但实际上，所有的值都是向前传播的


由于我们知道训练集中的真实观测值，所以可以计算在预测中产生的误差。回溯的关键直觉是将误差传播回来，并使用适当的优化器算法(例如梯度下降)来调整神经网络的权重，目的是减少误差(同样为了简单起见，只表示几个错误值)：


从输入到输出的前向传播和误差的后向传播过程被重复多次，直到误差达到预定的阈值。整个过程如下图所示：


特征表示输入，标签用于驱动学习过程。模型被更新，使损失函数逐渐最小化。在神经网络中，真正重要的不是单个神经元的输出，而是每一层调整的集体权重。因此，网络以预测增加的方式逐步调整其内部权重，正确地预测标签的数量也在增加。当然，使用正确的集合特征和具有质量标签的数据是最小化学习过程中的偏差的根本。






图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
盼小辉丶的博客
01-02 12万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
Keras深度学习实战（1）——神经网络基础与模型训练过程详解
盼小辉丶的博客
04-10 6万+
神经网络是一种性能强大的学习算法，其灵感来自大脑的运作方式。类似于神经元在大脑中彼此连接的方式，神经网络获取输入后，通过某些函数在网络中进行传递输入信息，连接在其后的一些神经元会被激活，从而产生输出。本文主要介绍神经网络中重要的基础知识，然后使用 Python 从零开始构建神经网络的训练流程，包括前向传播和反向传播，更直观的了解神经网络的通用训练流程。............
神经网络参数优化
chen_gong_ping的博客
01-02 1484
参数优化： 卷积核的大小及个数的选择：                 在达到相同感受野的情况下，卷积核越小，所需要的参数和计算量越小。         具体来说。卷积核大小必须大于1才有提升感受野的作用，1排除了。而大小为偶数的卷积核即使对称地加padding也不能保证输入feature map尺寸和输出feature map尺寸不变（画个图算一下就可以发现），2排除了。所以一般都用3作为卷...
keras中的fit函数参数_可视化 Keras 训练过程
weixin_32014283的博客
12-06 1135
可视化 Keras 训练过程Keras 提供 Callback 接口来追踪训练过程中的每一步结果，包括每一个 batch 和每一个 epoch。虽然名为“回调函数”，但实际上想要扩展这功能需要继承 keras.callbacks.Callback 类，该类提供两个与模型训练过程相关的属性：params：compile 模型时设定的参数；model：模型对象。通过这一接口可以实时可视化 fit 过程...
Keras中的fit、fit_generator、train_on_batch的用法介绍
wuxulong123的博客
03-22 9375
首先是fit，是最常用的也是最基础的。 ** fit() 以固定数量的轮次（数据集上的迭代）训练模型。 ** fit(x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=...
令history = model.fit(...)，用history使得训练结果可视化，并在过拟合之前提前结束训练（tf，keras）
Alocus的博客
05-14 1万+
hist = pd.DataFrame(history.history) hist['epoch'] = history.epoch hist.tail() def plot_history(history): hist = pd.DataFrame(history.history) hist['epoch'] = history.epoch plt.figure() plt.xlabel('Epoch') plt.ylabel('Mean Abs Error [MPG]').
tensorflow中model.fit()用法
热门推荐
yunfeather的博客
05-31 8万+
tensorflow中model.fit()用法 model.fit()方法用于执行训练过程 model.fit(训练集的输入特征， 训练集的标签， batch_size,#每一个batch的大小 epochs, #迭代次数 validation_data = (测试集的输入特征，测试集的标签）， val...
【全网首发】Pytorch深度学习与图神经网络卷1：基础知识
01-15
**PyTorch深度学习与图神经网络卷1：基础知识** PyTorch是当前最流行的深度学习框架之一，它以其灵活性和易用性受到广大研究人员和开发者的青睐。本卷主要介绍PyTorch的基础知识，包括核心概念、基本操作以及如何...
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 8万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
深入详解神经网络的基础知识、工作原理以及应用【一】
最新发布
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-15 1950
深入探讨神经网络的基础知识，包括其基本结构、工作原理以及在实际应用中的表现。
Keras model.fit()参数详解
wuruivv的博客
10-29 2万+
fit( x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0, .
model.fit() fit详解
一定要站在自己热爱的生活里闪闪发光
06-01 3万+
fit(x, y, batch_size=32, epochs=10, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0) x：输入数据。如果模型只有一个输入，那么x的类型是num..
模型训练过程小结（适合小白）
兰钧的博客
09-09 2508
为了让自己更清楚模型的训练过程，在这里对训练过程进行一下记录，欢迎大佬补充与指正。 1、fit函数训练过程： model.compile(loss="sparse_categorical_crossentropy", optimizer = keras.optimizers.SGD(0.001), metrics = ["accurac...
keras 由model.train_on_batch()到model.fit()
k903161661的博客
10-24 730
【代码】keras 由model.train_on_batch()到model.fit()
tensorflow model.fit()解读
qq_40302324的博客
09-07 1863
例如（{“x0”：x0，“x1”：x1}，y）。namedtuple是不支持的数据类型，因为它的行为类似于有序数据类型（元组）和映射数据类型（dict）。例，给定namedtuple形式的namedtuple: （“example_tuple”，[“y”，“x”]），在解释值时是否反转元素的顺序是模糊的。更糟糕的是形式为namedtuple（“other_tuple”，[“x”，“y”，“z”]）的元组，其中不清楚元组是打算解包为x、y和sample_weight，还是作为单个元素传递给x。
如何训练大数据模型：
cean1024的专栏
05-10 4096
在这个示例中，我们使用了TensorFlow框架构建了一个包含两个隐藏层的神经网络模型，并使用Adam优化器和二元交叉熵损失函数进行训练。4. 设置超参数：超参数是模型训练过程中需要手动设置的参数，如学习率、批量大小、迭代次数等。1. 准备数据集：首先需要准备好数据集，数据集应该包含训练数据、验证数据和测试数据。2. 选择合适的算法：根据数据集的特点和任务需求，选择合适的算法进行训练。5. 训练模型：使用训练数据集对模型进行训练。训练过程中需要设置超参数，并根据训练集的误差和验证集的误差进行调整。
php使用keras模型,TensorFlow2.0使用keras训练模型的实现
weixin_29416459的博客
03-23 560
1.一般的模型构造、训练、测试流程# 模型构造inputs = keras.Input(shape=(784,), name='mnist_input')h1 = layers.Dense(64, activation='relu')(inputs)h1 = layers.Dense(64, activation='relu')(h1)outputs = layers.Dense(10, acti...
深度学习框架Keras使用心得
xjcvip007的博客
10-12 4万+
最近几个月为了写小论文，题目是关于用深度学习做人脸检索的，所以需要选择一款合适的深度学习框架，caffe我学完以后感觉使用不是很方便，之后有人向我推荐了Keras，其简单的风格吸引了我，之后的四个月我都一直在使用Keras框架，由于我用的时候，tensorflow的相关教程还不是很多，所以后端我使用theano。这次的心得主要分成两篇，第一篇是聊聊开始使用keras容易遇到的坑，第二篇会在我论文发了之后，连同代
深度学习（十）keras学习笔记
hjimce的专栏
10-13 6万+
keras与torch7的使用非常相似，是最近才火起来的深度学习开源库，底层是用了theano。keras可以说是python版的torch7，对于快速构建CNN模型非常方便。同时也包含了一些最新文献的算法，比如Batch Noramlize，文档教程也很全，在官网上作者都是直接给例子浅显易懂，个人感觉非常容易上手。keras也支持保存训练好的参数，然后加载已经训练好的参数，进行继续训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值