方同学的博客

RCNN解决的是，“为什么不用CNN做classification呢？”Fast R-CNN解决的是，“为什么不一起输出bounding box和label呢？”Faster R-CNN解决的是，“为什么还要用selective search呢？”...

目前优化神经网络的方法都是基于反向传播的思想，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。深度网络有很多非线性层堆叠梯度消失与梯度爆炸形成的原因：深度神经网络训练的时候，采用的反向传播方式，该方式背后其实是链式求导，计算每层梯度的时候会涉及一些连乘操作，因此如果网络过深，那么如果连乘的因子大部分小于1，最后乘积可能趋于0（梯度消失）；另一方面，如果连乘的因子大部...

1、

1

op：tensorflow中的各种基本操作(+ - * /)数值类型转换：import tensorflow as tfa_float = tf.cast(a, dtype=tf.float32)随机化方式：# 标准正态分布random_normal = tf.random_normal((), mean=0.0, stddv=1.0, dtype=tf.float32, seed=N...

线性模型x−>Linear−>y^x->Linear->\hat{y

卷积：tf.nn.conv2d( input_输入（batch, h, w, channels）, filter_卷积核（k_h, k_w, k_in, k_out）, strides_卷积核的移动步长（1，s_h, s_w, 1）, padding(same:自动补0，步长为1时，输入输出大小相同； valid：不自动补0), use_cudnn_on_gpu=True, da...

传统神经网络：每个神经元与前一层的所有神经元连接卷积神经网络：卷积层中的神经元只与前一层的一小块局部区域（也就是感受野）连接组成：卷积层（Conv）+池化层（Pooling）+全连接层（与常规传统神经网络一样，其中每个神经元都与前一层中的所有神经元相连接）整个卷积过程，以CIFAR-10为例：原始输入：[32x32x3]；经12个卷积核，卷积后的数据体维度：[32x32x12]；再经过R...

对于图像问题可以使用CNN较好的解决，但对于文本类数据，较好的解决方式是采用RNN例如：1、我很想去北京，2、我不想去北京；说明：将1中的句子进行词语分开，最后的输入是北京，2也相同；对于普通网络最后的输入为北京，得到的结果是这两句话的结果相同，而实际不同；对于此类问题，我们要设计的方法是需要对之前词语的输入进行记忆，将记忆的结果送给下层，这样尽管最后的输入相同，而实际上输出的结果已经记忆了其...

协同过滤基于商品：ICF (item based) 例子：沃尔玛啤酒与尿布的故事基于人：UCF (user based) 例子：亚马逊电商“customer who bought this item also bought…”核心理念：爱好相同的人或者属性相似的物协同过滤算法商品推荐架构1、训练集->过滤出购买行为->