Mindspore 初学教程 - 7. 模型训练

coyote_xujie

已于 2024-11-04 22:28:17 修改

阅读量981

点赞数 17

文章标签：人工智能 python

于 2024-11-04 22:27:30 首次发布

本文链接：https://blog.youkuaiyun.com/Wolf_xujie/article/details/142965063

版权

模型训练

模型训练一般分为四个步骤：

构建数据集。
定义神经网络模型。
定义超参、损失函数及优化器。
输入数据集进行训练与评估。

现在我们有了数据集和模型后，可以进行模型的训练与评估。

一、构建数据集

首先从数据集 Dataset 加载代码，构建数据集。

import os
import mindspore
from mindspore import nn
from mindspore.dataset import vision, transforms
from mindspore.dataset import MnistDataset

from download import download


def get_dataset(url):
    if os.path.exists('./MNIST_Data'):
        print("数据集已下载无需重复下载")

    else:
        download(url, "./", kind="zip", replace=True)

    train_dataset, test_dataset = MnistDataset('MNIST_Data/train'), MnistDataset('MNIST_Data/test')

    return datapipe(train_dataset, 64), datapipe(test_dataset, 64)


def datapipe(dataset, batch_size):
    image_transforms = [
        vision.Rescale(1.0 / 255.0, 0),
        vision.Normalize(mean=(0.1307,), std=(0.3081,)),
        vision.HWC2CHW()
    ]
    label_transform = transforms.TypeCast(mindspore.int32)

    dataset = dataset.map(image_transforms, 'image')
    dataset = dataset.map(label_transform, 'label')
    dataset = dataset.batch(batch_size)
    return dataset


if __name__ == '__main__':
    url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/notebook/datasets/MNIST_Data.zip"

    train_dataset, test_dataset = get_dataset(url)

在这里插入图片描述

二、定义神经网络模型

从网络构建中加载代码，构建一个神经网络模型。

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

三、定义超参、损失函数和优化器

3.1 超参

超参（Hyperparameters）是可以调整的参数，可以控制模型训练优化的过程，不同的超参数值可能会影响模型训练和收敛速度。目前深度学习模型多采用批量随机梯度下降算法进行优化，随机梯度下降算法的原理如下：

$w_{t+1}=w_{t}-\eta \frac{1}{n} \sum_{x \in \mathcal{B}} \nabla l\left(x, w_{t}\right)$

公式中， $n$ 是批量大小（batch size）， $η$ 是学习率（learning rate）。另外， $w_{t}$ 为训练轮次 $t$ 中的权重参数， $\nabla l$ 为损失函数的导数。除了梯度本身，这两个因子直接决定了模型的权重更新，从优化本身来看，它们是影响模型性能收敛最重要的参数。一般会定义以下超参用于训练：

训练轮次（epoch）：训练时遍历数据集的次数。
批次大小（batch size）：数据集进行分批读取训练，设定每个批次数据的大小。batch size过小，花费时间多，同时梯度震荡严重，不利于收敛；batch size过大，不同batch的梯度方向没有任何变化，容易陷入局部极小值，因此需要选择合适的batch size，可以有效提高模型精度、全局收敛。
学习率（learning rate）：如果学习率偏小，会导致收敛的速度变慢，如果学习率偏大，则可能会导致训练不收敛等不可预测的结果。梯度下降法被广泛应用在最小化模型误差的参数优化算法上。梯度下降法通过多次迭代，并在每一步中最小化损失函数来预估模型的参数。学习率就是在迭代过程中，会控制模型的学习进度。

epochs = 3
batch_size = 64
learning_rate = 1e-2

3.2 损失函数

损失函数（loss function）用于评估模型的预测值（logits）和目标值（targets）之间的误差。训练模型时，随机初始化的神经网络模型开始时会预测出错误的结果。损失函数会评估预测结果与目标值的相异程度，模型训练的目标即为降低损失函数求得的误差。

常见的损失函数包括用于回归任务的 nn.MSELoss（均方误差）和用于分类的 nn.NLLLoss（负对数似然）等。 nn.CrossEntropyLoss 结合了 nn.LogSoftmax 和 nn.NLLLoss，可以对 logits 进行归一化并计算预测误差。

loss_fn = nn.CrossEntropyLoss()

3.3 优化器

模型优化（Optimization）是在每个训练步骤中调整模型参数以减少模型误差的过程。MindSpore 提供多种优化算法的实现，称之为优化器（Optimizer）。优化器内部定义了模型的参数优化过程（即梯度如何更新至模型参数），所有优化逻辑都封装在优化器对象中。在这里，我们使用 SGD（Stochastic Gradient Descent）优化器。

我们通过 model.trainable_params() 方法获得模型的可训练参数，并传入学习率超参来初始化优化器。

optimizer = nn.SGD(model.trainable_params(), learning_rate=learning_rate)

四、训练与评估

设置了超参、损失函数和优化器后，我们就可以循环输入数据来训练模型。一次数据集的完整迭代循环称为一轮（epoch）。每轮执行训练时包括两个步骤：

训练：迭代训练数据集，并尝试收敛到最佳参数。
验证/测试：迭代测试数据集，以检查模型性能是否提升。

model = Model(net, loss_fn=loss_fn, optimizer=optimizer,  metrics={'acc'})

# 1. 训练
model.train(epochs, train_dataset)

# 2.测试验证
acc = model.eval(test_dataset)
print("预测的准确率是： {}".format(acc))