xiaoyaolangwj的博客

最近在搜集资料时无意中看到知乎中有人推荐此教程，特整理输出一遍。形成此系列文章。本文原文标题为： 《零基础入门深度学习(1) - 感知器》 原理部分请直接参考原文：目前只分析源码：此代码修改原码，为python3环境。 from functools import reduce class Perceptron(object): def __init__(self, input_num, activator): """ 初始化感知器，设置输入参数.

本文学习原文：零基础入门深度学习(2) - 线性单元和梯度下降 为了看图参看文献：https://blog.youkuaiyun.com/weixin_39121325/article/details/89638932 第一个问题：为何提出线性单元？是感知器不好用了吗？感知器有哪些不足？ 答：感知器无法处理：线性不可分问题。 第二个问题：如何解决上述的问题？什么是线性单元？相对于感知器哪里升级了？ 答：为了解决线性不可分问题：将激活函数由原来的阶跃函数（大于阈值跳变。）替换为可导的线性函数。这样就成..

上一篇中

原文要点梳理： 1、最近几年卷积神经网络中，激活函数往往不选择sigmoid或tanh函数，而是选择relu函数：f(x) = max(0, x)。 选择relu的原因： 1）速度快。计算代价小 2）减轻梯度消失问题：sigmoid函数的导数最大值为0.25，累乘之后越来越小。relu导数始终为1。因此relu可以支持更深的网络。 3）稀疏性：大脑在日常工作中只有大约5%激活。sigmoid激活函数激活率为50%。relu小于零完全不激活，因此可以获得一个更低的激活率。 第一个问题：有了全

学习原文在此，但是讲解RNN入门最好的三篇文章在知乎：一、一文搞懂RNN（循环神经网络）基础篇；二、循环神经网络（RNN）为什么能够记忆历史信息；三、浅析循环神经网络RNN的两种应用。 这篇也可以参考：如何深度理解RNN？——看图就好！ 全连接神经网络和卷积神经网络，他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。 由此引出：循环神经网络(Recurrent Neural Network)。..