机器学习相关

参数和超参数的区别

参数是模型中可以被学习和调整的参数，通过训练数据进行学习和优化，以最小化损失函数或优化目标；

超参数是手动设置的参数，用于控制模型的行为和性能，超参数的选择和优化对模型性能有重要影响

深度学习中，参数通常是指神经网络中的权重和偏差，这些参数通过反向传播算法，根据训练数据中的梯度信息自动调整，以最小化损失函数。

超参数的选择会影响到模型的训练速度、收敛性、容量和泛化能力等方面。如学习率、迭代次数、正则化参数、隐藏层的神经元数量等都是超参数（需根据经验和领域知识进行调整）

常用的超参数：

学习率(learning rate)：影响模型训练速度和稳定性的关键参数。学习率设置的过大可能会到是模型无法收敛，设置的过小则会使训练过程过于缓慢。

动量参数(momentum)：加速梯度下降的参数，可以增加梯度的方向性，从而帮助模型更快的收敛

网络层数(number of layers)：决定模型复杂度和表达能力的参数。一般来说，增加网络层数可以使模型更好地学习复杂的特征，但同时也增加了模型的参数数量和计算复杂度。

隐藏层节点数(number of hidden nodes)：这是决定模型隐层大小和表达能力的参数。一般来说，增加隐层节点数可以使模型更好的学习复杂的特征，但同时也增加了模型的参数数量和计算复杂度。

学习率下降幅度(learning rate decay)：这是用于控制学习率在训练过程中下降的参数。通过逐渐降低学习率，可以让模型在训练后期更加精细地逼近最优解

mini-batch大小(mini-batch size)：这是决定每次更新时使用梯度下降的样本的数量。一般来说，使用较大的mini-batch可以提高训练速度和稳定性，但可能会降低模型的泛化能力

正则化参数(regularization parameters)：这是用于控制正则化效果的参数，可以防止过拟合现象的发生。常用的正则化方法包括L1正则化、L2正则化和Dropout等

批处理次数(number of batches)：这是决定每次训练过程中进行梯度更新的次数的参数。一般来说，增加批处理次数可以提高训练速度和稳定性，但可能会增加计算资源和时间成本

优化器选择(optimizer)：这是用于优化神经网络权重的算法选择。常用的优化器包括梯度下降法、随机梯度下降法、Adam等

初始权重设置(inital weights)：这是用于初始化神经网络权重的参数。不通的初始权重设置可能会影响模型的收敛速度和最终性能。

激活函数：

过拟合和欠拟合：

过拟合（overfitting）：

是指模型在训练数据集上表现的好，但在未见过的数据集上表现较差的情况。过拟合通常发生在模型过于复杂、参数过多的情况，导致模型过度记忆了训练数据和噪声细节，而忽略了数据的整体趋势和泛化能力。过拟合的模型对训练数据过于敏感，可能会出现过度拟合噪声的情况，导致泛化能力下降

欠拟合（underfitting）：

欠拟合指的是在训练数据上表现较差，无法很好的捕捉数据的特征和模式。欠拟合通常发生在模型过于简单、参数过少的情况下，导致模型无法适应数据的复杂性和变化，无法捕捉数据的潜在规律和特征。欠拟合的模型可能会出现高偏差的情况，导致无法充分拟合训练数据，也无法在测试数据集上取得良好的性能。

异同点：

相同点：

(1)过拟合和欠拟合都是模型在训练过程中出现的问题，导致模型在测试数据上的性能下降

(2)过拟合和欠拟合都与模型的复杂性和参数数量有关，过拟合常常发生在模型过于复杂，欠拟合常常发生在模型过于简单的情况下。

不同点：

(1)过拟合和欠拟合发生的原因不同：过拟合时因为模型过于复杂，过度拟合了训练数据的噪声和细节；欠拟合是因为模型过于简单，无法捕捉数据的特征和模式

(2)应对的解决方法不同：过拟合可以采用正则化、降低模型复杂度、增加训练数据等方法来减轻过拟合现象；欠拟合可以考虑增加模型复杂度、增加特征数量、调整模型参数等方法来提高模型的拟合能力

卷积

对卷积的理解：两个函数的卷积，本质上就是先将一个函数翻转，然后进行滑动叠加。

参考：对卷积的定义和意义的通俗解释_卷积的意义-优快云博客