忆殇D.Rose的博客

最近面试经常被问到机器学习和深度学习优化器的问题，所以做了一点简要的总结，主要是理清每种优化算法的基本思想和相互之间的对比，全文在ipad上手写，不想再转成md浪费时间了，如果看不习惯的朋友可以选择忽略直接退出((ಥ﹏ಥ))。另一篇机器学习优化算法概要的地址为 https://blog.youkuaiyun.com/qq_30992103/article/details/107793497，欢迎学习交流BGDSGDMBGDMomentumNesterov Accelerated Gradient.

文章目录Transformer学习总结1. 整体结构2. Self-Attention2.1 为什么选择Self-Attention2.2 Self-Attention结构2.3 Scaled Dot-Production Attetntion2.4 Multi-Head Attention3. The Residual Connection 残差连接4. Positional Encoding5...

前向传播和反向传播求导过程​ 首先，要讨论神经网络为什么难以训练这个问题，就必须要明确神经网络的运算过程和参数更新过程，以一个简单的前向神经网络为例，首先理解一下神经网络的前向传播和反向传播的过程。(公式太多了，只能无奈手写)。​ 从以上的推导过程中，我们其实可以得到几个很有意思的结论：神经网络的各层的参数更新速度是不一样的。由上图中的反向传播过程的计算可知，神经网络的反向传播过程是基于导...

如果神经网络中没有激活函数，无论网络结构再如何复杂，学习的模型都只能得到线性函数，只能解决线性可分问题。激活函数的引入，使得神经网络能够拟合任何一个非线性函数，可用于解决线性不可分问题。不同的激活函数具有不同的特征，适合的场景也因数据的差异而各不相同，需要根据具体的情况选择合适的激活函数，否则无法得到一个令人满意的模型。这篇博客以tf.keras.activations中提供的激活函数为基础，对...