Capricorn_devil的博客

     为了运行BiDAF模型的代码，配置TensorFlow环境。一开始下载了TensorFlow1.12，运行时显示        module 'tensorflow.contrib.rnn.python.ops.rnn_cell' has no attribute '_linear'看了下TensorFlow源码发现根本没有_linear这个函数。通过附录1，又看了源码的环境，发...

从官网上的神经网络结构改的一个character-rnn结构示意图： 流程大概就是先定义节点形状，绘制节点矩阵（&可以代替空节点，用来实现节点对齐），最后绘制节点间的连接曲线。 更多的绘图技巧有待研究\documentclass[a4paper,10pt]{article}\usepackage[english]{babel}\usepackage[T...

端到端学习（End-to-End Learning），也称端到端训练，是指在学习过程中不进行分模块或分阶段进行训练，直接优化任务的总体目标。在端到端学习中，一般不需要明确地给出不同模块或阶段的功能，中间过程不需要人为干预。端到端学习的训练数据为“输入-输出”对的形式，无需提供其它额外信息。...

激活函数：激活函数在神经元中非常重要的。为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质： 1. 连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。 2. 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。 3. 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训...

反向传播算法自动梯度计算 现在许多深度学习框架，如pytorch，都不需要推导导数公式，只需给出forward过程，会自动计算backward。即通过计算图求导在连接...