u010995990的博客

今天在调参的过程中，在调maxpooling时，发现了一个小技巧，假如对于一个维度为(None,20,500)的query_conv进行池化操作。 如果代码为 pool_query = MaxPooling1D(pool_size=20)(query_conv) 那么最终pool_query的最终维度为(None,1,500) 但是如果代码为 pool_quer...

输入变量与输出变量均为连续变量的预测问题是回归问题； 输出变量为有限个离散变量的预测问题成为分类问题；其实回归问题和分类问题的本质一样，都是针对一个输入做出一个输出预测，其区别在于输出变量的类型。 分类问题是指，给定一个新的模式，根据训练集推断它所对应的类别（如：+1，-1），是一种定性输出，也叫离散变量预测； 回归问题是指，给定一个新的模式，根据训练集推断它所对应的输出值（实数）是...

标量是0阶张量(一个数)，是1*1的； 向量是一阶张量，是1*n的； 张量可以给出所有坐标间的关系，是n*n的。 所以通常有人说将张量(n*n)reshape成向量(1*n)，其实reshape过程中并没有发生大的变化。参考地址:https://www.zhihu.com/question/22232943...

参考地址:https://blog.youkuaiyun.com/caicaiatnbu/article/details/72792684?locationNum=7&fps=1 由上面的博客可以得出,二维卷积过程就是:比如输入通道数为3，每个图像的大小为7*7,那么当卷积核的数目为2个的时候，卷积核的大小为3*3时。 具体的卷积过程就是用一个3*3大小的卷积核分别和这3个通道的7*7图像做...

embedding层：在导入预训练的词典后，embedding层的参数是怎么来的，以及参数数目是怎么计算的。添加dropout层【将dropout层单独加进去】，没有产生额外要训练的参数。LSTM、GRU等RNN,当return_sequences=False时表示不会将所有的时刻的隐层输出最终输出出来，所以会发生降维；当return_sequences=True时，表示会将所有的时刻输出，...

1，通过过抽样和欠抽样解决样本不均衡 1，过抽样:过抽样也叫做上采样(over-sampling).这种方法通过增加分类中少数样本的数量来实现样本均衡。最直接的方法是简单复制少数样本形成多条记录。比如正负比例为1:10，那么我们可以将正例复制9遍来达到正负比例1:1。但是这种方法的缺点就是如果样本特征少而可能导致过拟合的问题；经过改进的过抽样方法通过在少数类中加入随机噪声、干扰数据或通过一...

1，用sigmoid作为激活函数，为什么往往损失函数选用binary_crossentropy 参考地址:https://blog.youkuaiyun.com/wtq1993/article/details/517414712,softmax与categorical_crossentropy的关系，以及sigmoid与bianry_crossentropy的关系。 参考地址:https://www....

全连接层(fully connected layers,FC),在整个卷积神经网络中起到”分类器”作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到”将学到的分布式特征表示”映射到样本标记空间的作用。 同时由于全连接层参数冗余(仅全连接层的参数就可占整个网络参数80%左右)，近期一些性能优异的网络模型如ResNet和GoogLeNet等均用全局平...

首先我们要明白激活函数的作用是:简而言之，增加模型的非线性表达能力。为什么能增加非线性能力，看参考地址。 几大激活函数的具体公式如上图。如上所示，sigmoid只会输出正数，以及它靠近0的输出变化率最大。tanh与sigmoid不同的是，tanh输出可以是负数。Relu是输入只能大于0，如果你输入含有负数，Relu就不合适，如果你的输入是图片格式，Relu就挺常用的。参考地址:h...