11、神经网络多分类实践与优化

神经网络多分类实践与优化

1. 过拟合与正则化

在机器学习中，过拟合是一个常见的问题，即模型在训练集上表现良好，但在新数据上表现不佳。为了避免过拟合，可以采取增加训练数据集大小或采用正则化技术的方法。其中一种正则化技术是提前停止训练，即在模型在验证集上的性能开始下降时停止训练，防止模型过度学习训练数据的噪声。

2. 超参数调整与测试集信息泄露

在训练过程中，避免测试集信息泄露至关重要。若在训练时将测试集信息泄露给模型，会使模型记住测试集，导致对模型性能的评估过于乐观，而实际在生产环境中的表现可能不尽如人意。

超参数是指那些不能由学习算法自动调整的参数，例如学习率、网络拓扑结构（每层神经元数量、层数及连接方式）和激活函数类型等。超参数调整可以手动进行，也可以通过自动化流程完成。如果根据模型在测试集上的表现来调整超参数，就会引入测试集信息泄露问题。

为避免信息泄露，可以引入一个中间验证数据集。在对测试数据集进行最终评估之前，先使用验证数据集评估超参数设置。在一些示例中，为简化操作，仅进行手动超参数调整，且不使用单独的验证集，但这样可能会得到较为乐观的结果。

3. 训练与推理

之前的实验和讨论主要集中在网络的训练过程，在训练中会穿插对网络的测试，以评估其学习效果。使用网络而不调整权重的过程称为推理，即利用网络推断结果。

训练通常是为网络找到合适的权重，一般在将网络部署到生产环境之前完成。而在生产环境中，网络通常仅用于推理。训练和推理可能在不同的硬件上进行，例如训练可在云端服务器上完成，而推理可在手机或平板电脑等性能较低的设备上进行。

4. 扩展网络进行多分类