weixin_43666478的博客

在选择机器学习或深度学习模型时，我们期望选择能较好解释已知数据同时复杂度不高的模型。也就是希望我们训练得到的模型可以有较好的普适性或泛化性能，要有较强的鲁棒性，而不是仅仅对训练数据友好的模型，只对训练数据有效的模型就发生了过拟合，所以在模型训练时需要避免过拟合，以适应不同的数据集。

深度学习中的激活函数、损失函数、优化算法DL小将激活函数sigmoidtanhrelugelusoftmax损失函数分类问题常用的损失函数回归问题常用的损失函数优化算法随机梯度下降SGDAdam牛顿法 DL小将 本文对深度学习中的激活函数、损失函数和常用到的优化算法进行总结分析、记录学习。优化算法用来更新模参数，经过一系列计算并通过激活函数得到的输出可以用于计算损失函数，目标是使损失函数尽可能小。 激活函数 现实生活中真实数据之间往往是复杂的非线性的关系，而不是简单的线性关系。深度学习中通过神经元的计算往往