25、神经网络实验：架构与激活函数探索

神经网络实验：架构与激活函数探索

1. 实验概述

本次实验聚焦于神经网络的关键参数，旨在通过一系列实验增强对这些参数的直观理解。实验涉及的参数包括架构和激活函数、批量大小、基础学习率、训练集大小、L2 正则化、动量、权重初始化、特征排序以及权重和偏置的精度。

2. 数据集

实验使用 MNIST 数据集的向量形式，该数据集由手写数字（0 - 9）的 28×28 像素 8 位灰度图像组成。每个 28×28 图像被展开为一个 784 元素的向量，所有元素取值范围为 [0, 255]。训练集包含 60,000 个样本，测试集包含 10,000 个样本。为了便于实验和控制训练时间，我们不会使用训练集中的所有数据。

3. MLPClassifier 类

MLPClassifier 类遵循与其他 sklearn 分类器相同的格式，具有构造函数和常见方法，如 fit 用于训练、score 用于应用分类器到测试数据、predict 用于对未知输入进行预测，以及 predict_proba 用于返回每个类别的预测概率。构造函数有许多选项，以下是各参数及其默认值：

MLPClassifier(hidden_layer_sizes=(100, ), activation='relu',
              solver='adam', alpha=0.0001, batch_size='auto',
              learning_rate='constant', learning_rate_init=0.001,
              power