小白水手的博客

正常情况： train loss 不断下降，test loss不断下降，说明网络仍在学习;异常情况： train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目; train ...

LSTM内部结构-输入门+遗忘门+输出门RNN 和 LSTM的区别：LSTM比RNN多了一个输入状态ctc^tct(cell state)GRU内部结构-更新门+重置门主要包括三次数据的处理（三条明确的轨迹路线）红 + 黑 + 紫总的公式为：重置门{r=σ(Wrht−1xt)ht−1′=ht−1⨀rh′=tanh(Wht−1′xt)重置门\begin{cases}r &amp...

知乎大神

tensor类print("build a graph")a = tf.constant([[1,2],[3,4]])b = tf.constant([[1,1],[0,1]])print("a:",a)print("b:",b)print("type of a:",type(a))c = tf.matmul(a,b)print("c:",c)print("\n")

摘自这里1.搭建神经网络基本流程定义添加神经层的函数 1.训练的数据 2.定义节点准备接收数据 3.定义神经层：隐藏层和预测层 4.定义loss表达式 5.选择optimizer 使loss达到最小 然后对所有变量进行初始化，通过sess.run optimizer，迭代1000次进行学习：import tensorflow as tfimport numpy a...

作者：戴玮 链接：https://www.zhihu.com/question/47121788/answer/121838673 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。PCA是高维环境下能想到的最直接的方案。比如人脸识别，维度往往成千上万，但识别身份的话，每个人样本最多也就几十，过拟合现象是很严重的。由此产生了人脸识别早期研究中影响力极大的...

摘自黄海广等人笔记1.激活函数（Activation funcions）使用一个神经网络时，需要确定哪种激活函数用在隐藏层上，哪种用在输出节点上。 sigmoid函数：a = σ(z) = 11+e−z11+e−z\frac{1}{1+e^{-z}} 更通常的情况下，使用不同的函数g(z[1]z[1]z^{[1]})，g可以是除了sigmoid函数以外的非线性函数。tanh函数（双...

–摘自黄海广博士等人笔记，吴恩达的深度学习课程1.边缘检测示例 神经网络的前几层是如何检测边缘的，然后后面的层有可能检测到物体的部分区域，更靠后的一些层可能检测到完整的物体，这个例子中就是人脸。 给了这样一张图片，让电脑去搞清楚这张图片里有什么物体，你可能做的第一件事就是检测图片的垂直边缘。（比如图片中的栏杆就对应垂线，行人的轮廓线也是垂线，这些线是垂直边缘器的输出。）同样，可...

1.softmax回归准确率91%，较低 数据集下载自MNIST官网 包含四个压缩文件 不必解压放到目录就好#完整代码#仅做记录，详细解释有待补充import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_...

摘自沈晓璐 有待补充自己的理解Region CNN (RCNN )是利用深度学习进行目标检测的开山之作。思想解决了目标检测两个关键问题问题一：速度之前的经典算法是使用滑动窗口依次判断所有可能的区域。 RCNN是预先提取较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行判断。问题二：训练集经典的目标检测算法在区域中提取人工设定的特征。 RCNN需要训练深度...

参考：https://blog.deepsense.ai/region-of-interest-pooling-explained/目标检测typical architecture通常分为两个阶段： 1）region proposal： 给定一个输入图像，找出可找到对象的所有可能位置。这个阶段的输出应该是bounding box列表，这些通常被称为region proposal，或感兴趣的...

—-摘自黄海广博士笔记1.为什么看实例和很多人通过看别人的代码来学习编程一样，通过研究别人构建有效组建的案例也不错。 实际上在计算机视觉任务中表现良好的神经网络框架往往也适用于其它任务，也许你的任务也不例外。也就是说，如果有人已经训练或者计算出擅长识别猫、狗、人的神经网络或者神经网络框架，而你的识别任务是构建一个自动驾驶汽车，你完全可以借鉴别人的神经网络框架来解决自己的问题。 学完...