tcd1112的博客

预防过拟合常用的方法有L1、L2正则化,Dropout 正则化、Data Augmentation、Early Stopping 等。 本文将重点介绍如何使用梯度优化来使神经网络训练更快更有效率。 mini-Batch 梯度下降 神经网络反向传播的过程需要使用梯度下降算法来优化网络参数,迭代更新。梯度下降算法做法是每次训练都使用全部 m 个训练样本(称为 Batch)。该做法的缺点是当m很大...

    接触人工智能工作差不多半年时间了，现在就了解到的知识做简要回顾与总结。似乎毫无章法，但是基础知识。很多只有点，容我慢慢进行完善。     神经网络可以处理图像语音文本等数据，可以用在自动驾驶、语音助手、新闻媒体等方面。 1、激活函数：作用在提高规模化的非线性化能力，模拟被激化的能力         sigmoid函数：整个区间可导、非中心对称、数据后期变化不大，趋向于1学习效率降低。...