Claroja

传统的神经网络不能进行连续的思考.想象一下你想对电影里每一个点发生的不同的事件进行分类.对于传统的神经网络来说是不能从过去的事情推断未来的事情. RNN(Recurrent neural networks)解决了这个问题.RNN的神经元自己建立了一个自己的回路,使得信息可以保存. 在上图中AA有一个输入xtx_t和一个输出hth_t。一个RNN可以被想象成相同网络的多层拷贝. RNN被

人工神经网络Backpropagation

本文介绍了以反向传播(backpropagation)算法为基础的多层神经网络,下面的例子是三层的神经网络,其中两个输入,一个输出. 每一个神经元(neuron)由两个单元(unit)构成.第一个单元增加了产出的权重(weights)系数和输入信号.第二个单元实现了非线性函数,我们称之为神经元激活(neuron activation)函数.信号e是增加的输出信号,y=f(e)是非线性元素的输

1.卷积含义以及边缘检测应用1.1“*”是卷积的意思（convolution） 3x3的过滤器filter（核kernel）对6x6的矩阵进行卷积，可以形成4x4的矩阵，因为它横向可以移动4次，纵向可以移动4次。 每一步卷积是对应位置相乘并相加。 横向第一次卷积 横向第二次卷积 纵向第一次横向第一次卷积 纵向第4次横向第4次卷积1.2边缘检测实例...

CLASS torch.nn.MSELoss(size_average=None, reduce=None, reduction='mean')计算输入X和输出Y的均方误差.参数描述reduction(string,optional),默认为平均值loss = nn.MSELoss()input = torch.randn(3, 5, requires_grad=...

pytorch api torch.nn.MSELoss

CLASS torch.optim.SGD(params, lr=<required parameter>, momentum=0, dampening=0, weight_decay=0, nesterov=False)SGD梯度下降参数描述params可迭代的参数lr(float)学习速率momentum(float)weight_d...

神经网络层的基础类,我们构建的神经网络类要继承这个类.模块可以包含其他模块.方法描述add_module(name, module)插入一个子模块apply(fn)buffers(recurse=True)返回模块的bufferschildren()Returns an iterator over immediate children module...

线性层实现了y=xAT+by=xA^T+by=xAT+b参数描述in_features输入节点数out_features输出节点数bias如果为假，将不会有b。默认为真参考文献:https://pytorch.org/docs/stable/nn.html#linear-layers...

CLASS torch.optim.Optimizer(params, defaults)优化器的基础类参数描述params(iterable)Tensor或者dictdefaults(dict)优化器的选项方法描述add_param_group(param_group)添加一个参数组load_state_dict(state_d...

linear activation function 线性激活函数又称identity activation function 恒等激活函数如果是线性激活函数，那么神经网络只是输入的线性组合。所以隐藏层不能用线性激活函数。只有一种情况可以使用线性激活函数，那就是输出层是连续性变量比如房价信息（可以使用relu激活，因为房价都是正数）。...

逻辑回归中可以将参数初始化为0，但是神经网络却不行。偏置b可以初始为0，w却不行。当把w初始化为0的时候，隐藏单元进行的计算是一样的，所以多个隐藏单元会变得没有意义。w可以初始化为很小的值。因为在计算激活函数时，w在很小的时候，梯度会很大。学习速度回很快。...

逻辑回归是一个浅层模型 shallow有些函数只有非常深层的神经网络能够学习，而浅一些的模型通常无法学习。我们通常先用逻辑回归拟合，然后不停增加隐藏层，然后保留交叉验证结果。...

神经网络中常用的debug方法是算一遍矩阵的维数

超参数：学习速率迭代次数隐藏层数隐藏神经元激活函数其他参数momentummini batch 大小规则化参数超参数是控制参数的，在机器学习中最好正规的称调参，为调超参。调参基本都是凭借经验，也就是说我们要一直试试试，最终获得最合适的数值。...

在最初的时候我们会有一个idea，别如有多少个隐藏层，有几个单元等等，然后尝试并运行这些代码，然后不断的调整。自然语言，计算机视觉，语音，结构化数据（结构化数据无所不包，广告，电商，物流，计算机安全）机器学习之初，常见的做法是将所有的数据三七分，或者6分训练集，2分验证集和2分测试集来划分验证集就是检验哪种算法更有效，因此验证集要足够大才能评估，比如有2个或10个算法，迅速判断出哪种算法更有...

拟合度低 是高bias过度你和 是高variance训练集误差和验证集误差训练集和测试集 准确率相同时高的偏差

首先是降低bias，至少要使模型拟合训练集，通过扩大更大的神经网络实现然后是降低variance，采用更多的数据然后不断的尝试训练一个大型的神经网络基本没有坏处，只不过就是训练的时间会增加...

当lambda设置过大的时候，w约等于0，也就是相当于我们将w设置为0，这样的话就消除了隐藏单元。这样会将模型从高方差状态编程高偏差状态。

过度拟合的另外一个方法dropout