3、机器学习与神经网络基础：从参数调优到网络架构解析

机器学习与神经网络基础：从参数调优到网络架构解析

1. 超参数调优

在标准的监督学习问题中，我们试图在给定的学习算法空间中找到最佳假设。在超参数优化的背景下，我们关注的是最小化由权重和偏置向量参数化的模型的验证误差，以找到能使优化后的学习算法产生对新数据具有良好泛化能力的模型配置。为实现这一目标，可采用以下不同的搜索策略：
- 网格搜索 ：有时用于超参数调优。通过为网格中所有超参数值的每个可能组合构建模型，评估每个模型并选择给出最佳结果的超参数。
- 随机搜索 ：不提供离散的值集进行探索，而是考虑每个超参数的统计分布，并从该分布中随机采样超参数值。
- 贪心搜索 ：选择最有可能的第一个参数，但这并不总是一个好方法。
- 精确搜索算法 ：如广度优先搜索（BFS）和深度优先搜索（DFS），搜索精确值。
- 束搜索 ：在循环神经网络的深度学习中应用。

此外，还有贝叶斯优化技术，属于顺序模型优化（SMBO）算法类，利用特定方法的搜索结果来改进下一次搜索。超参数调优的目标是找到用户指定的超参数指标（一个数值）的最优值，用户需要指定该指标是要最大化还是最小化。对于大多数数据集，只有少数超参数真正重要，且不同数据集的重要超参数不同，这使得网格搜索对于新数据集的算法配置不是一个好选择。

2. 最大似然估计

最大似然估计（MLE）是一种确定模型参数值的方法。其目标是找到使模型描述的过程产生实际观察到的数据的可能性最大化的参数值。数学上，定