Nieson2012的专栏

最近参加了百度AI Studio的深度学习7日入门-CV疫情特辑课程，通过课程来入手学习深度学习框架-PaddlePaddle，同时学习深度学习的相关网络模型，本博客分享在学习过程中的一些心得。1、通过对该课程的学习，首先了解了PaddlePaddle深度学习框架，然后在本地进行了安装使用；飞桨本地安装可参考飞桨官网：https://www.paddlepaddle.org.cn/docume...

目录1、循环神经网络（Recurrent Neural Networks）2、长依赖存在的问题3、LSTM 网络4、LSTMs的核心思想5、一步一步理解LSTM6、LSTM的变种7、总结1、循环神经网络（Recurrent Neural Networks）人对一个问题的思考不会完全从头开始。比如你在阅读本片文章的时，你会根据之前理解过的信息来理解下面看到的文字。...

深度学习中常用的的激活函数包括了：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign、softplus。激活函数可以分为两大类：饱和激活函数：sigmoid、 tanh 非饱和激活函数:ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】相对于饱和激活函数，使用“非...

本文主要讨论CNN的发展，并且引用刘昕博士的思路，对CNN的发展作一个更加详细的介绍，将按下图的CNN发展史进行描述：上图所示是刘昕博士总结的CNN结构演化的历史，起点是神经认知机模型，此时已经出现了卷积结构，经典的LeNet诞生于1998年。然而之后CNN的锋芒开始被SVM等手工设计的特征盖过。随着ReLU和dropout的提出，以及GPU和大数据带来的历史机遇，CNN在2012年迎来了...