【算法】深度学习从0到1
关注
分享
扫一扫
文章平均质量分 92
系统地对深度学习（神经网络）从0到1的一个学习过程，共同学习，共同进步
爱科研的徐博士
中科院博士，助理研究员，专注于多模态+NLP,热爱科研，想成为你的科研小助手~
我相信：所谓的不平凡就是平凡的幂次方
展开
-
Encoder-Decoder综述理解(推荐)
文章目录一、Encoder-Decoder（编码-解码）介绍几点说明信息丢失的问题应用二、Seq2Seq（序列到序列）介绍Seq2Seq与Encoder-Decoder代码实现一、Encoder-Decoder（编码-解码）介绍Encoder-Decoder是一个模型构架，是一类算法统称，并不是特指某一个具体的算法，在这个框架下可以使用不同的算法来解决不同的任务。首先，编码（encode）由...原创 2020-03-12 22:19:19 · 58454 阅读 · 6 评论 -
从0到1 激活函数（一）sigmod函数
引言本节主要是介绍神经网络中常见的激活函数-----sigmod函数。sigmod的函数简介sigmod的函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，常被用作神经网络的激活函数，将变量映射到0,1之间。-------------摘自《百度百科》sigmod函数也叫作Log...原创 2019-12-20 16:52:28 · 75553 阅读 · 3 评论 -
深度学习之Attention Mechanism
参考文献1、一文看懂 Attention 机制，你想知道的都在这里了。Enjoy!这实际上是一篇翻译版的博文，原文在这里.这篇博文实际上只是简单的系统地介绍了attention机制的基本思想，以及它的一些应用。文章并不是特别长，读完之后，可以对attention机制有一个整体的认知。值得推荐的地方时，这篇文章在最后给出了一些学习attention的参考资料，可以进一步的学习，比较赞。...原创 2018-08-03 11:06:18 · 4061 阅读 · 0 评论 -
深度学习之训练trick
参考资料注：因为最近在学习中，这是我在学习过程中阅读过比较好的一些资料，在此作个笔记，若恰能帮助到你们，也是非常欣慰的。1、Google研究员Ilya Sutskever：成功训练LDNN的13点建议 本文由Ilya Sutskever（Google研究员、深度学习泰斗Geoffrey Hinton的学生、DNNresearch联合创始人）所写，讲述了有关深度学习的见解及实用建议，包括深...原创 2018-08-02 16:53:23 · 744 阅读 · 0 评论 -
深度学习之循环神经网络
参考资料1、Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs 大牛写的文章，还是值得一看的，这是关于RNN第一部分的网址，文章里面也给出了其他部分的网址，并且里面也给出一些相应知识点的参考地址，例如SGD等。...原创 2018-07-21 15:47:04 · 265 阅读 · 0 评论 -
深度学习之卷积神经网络
参考资料： 1、padding 2、padding参考 3、tf.nn.conv2d()解释 4、tf.nn.max_pool实现池化操作原创 2018-07-17 15:10:17 · 883 阅读 · 0 评论 -
深度学习之受限玻尔兹曼机(RBM)
参考资料1、受限玻尔兹曼机学习笔记系列 这篇文章介绍的相对来说比较全面了，推荐阅读。 2、受限玻尔兹曼机基础教程 看完1 后，可以当做一个辅助材料来阅读，不过还是建议仔细阅读比较好，每一次的阅读都会有不同的收获，加油！ 3、代码实现...原创 2018-07-12 15:39:29 · 835 阅读 · 0 评论 -
深度学习之神经网络参数初始化问题
参考资料以下是关于神经网络参数初始化问题的相关推荐资料 1、为什么神经网络参数不能全部初始化为全0？原网址为2、什么时候可以将神经网络的参数初始化为03、神经网络weight怎样初始化4、[神经网络中权重初始化问题] (https://blog.youkuaiyun.com/cherry_yu08/article/details/79116862) 里面讲了自己试验时遇到的关于初...原创 2018-07-17 18:59:11 · 4245 阅读 · 0 评论 -
深度学习之反向传播
参考资料1、Implementing a Neural Network from Scratch in Python – An Introduction 这是一篇大神写的文章，利用python实现一个前馈神经网络，可以看一下，动手实现一下有助于理解。 其中代码网址点击这里 2、在1、中有关于反向传播的介绍的网址，个人感觉很容易理解，推荐阅读： 点击这里参考1 点击这里参考2...原创 2018-07-17 15:28:37 · 411 阅读 · 0 评论 -
深度学习发展简要笔记
一、前言深度学习的发展大致分为这么几个学期：萌芽期：从BP算法的发明（1970s-1980s）到2006年期间。迅速发展期：从2006年栈式自编码器+BP微调提出之后。爆发期：从2012年Hintont团队的Alexnet模型在ImageNet竞赛取得惊人成绩之后。萌芽期在Yann LeCun、Yoshua Bengio和Geoffrey Hinton三巨头nature...原创 2017-12-06 16:52:43 · 843 阅读 · 0 评论 -
零基础入门深度学习！！！
前言之前就看到过下面几篇文章，今天又重新看到，还是觉得写得比较好，对于零基础的同学来说比较容易理解。虽然才看完第三篇，现在打算把链接贴出来，分享给大家。零基础入门深度学习（1）—感知器零基础入门深度学习（2）—线性单元和梯度下降零基础入门深度学习（3）—神经网络和反向传播算法零基础入门深度学习（4）—卷积神经网络零基础入门深度学习（5）—循环神经网络零基础入门深度学习（6）—长短时记忆网络（LSTM原创 2017-10-30 21:09:04 · 448 阅读 · 0 评论