深度学习和机器学习面试常见问题集锦

最新推荐文章于 2024-03-12 09:15:00 发布

Peter清风

最新推荐文章于 2024-03-12 09:15:00 发布

阅读量354

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习深度学习 python

本文链接：https://blog.youkuaiyun.com/qq_34783311/article/details/89023282

这篇博客汇总了深度学习和机器学习面试中的常见问题，包括如何处理梯度消失和爆炸、调参经验、参数初始化、数据预处理、训练技巧等。探讨了逻辑斯蒂回归中特征离散化的原因，并对比了L1和L2正则化的差异。同时，也提及了Xgboost处理高维数据的方法、bagging与boosting的区别以及分类与回归的差异。更多内容可关注作者的github持续更新。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如何解决梯度消失和梯度爆炸的问题？

问题类型	问题定义	解决措施
梯度消失	根据链式法则，如果`每一层神经元对上一层的输出的偏导乘上权重的结果`都小于1的话，那么即使这个结果是0.99，在经过足够多层传播之后，误差对输入层的偏导会趋于0.	使用`Relu`和`batch normalization`以及循环神经网络里面的`LSTM`和`GRU`都可以解决这个问题
梯度爆炸	根据链式法则，如果`每一层神经元对上一层的输出的偏导乘上权重结果`大于1的话，在经过足够多层传播之后，误差对输入层的偏导会趋于无穷大。	可以使用`梯度截断`、`激活函数`、`Batch Normalization`来解决。