whitesilence的博客

AlexnetVggResnetResnextDensenetInceptionnetGooglenetMobilenetShufflenetVovnetvovnet_v1(2019): 论文vovnet_v2(2020): 论文代码https://github.com/youngwanLEE/vovnet-detectron2vovnet是在Densenet的基础上改进来的。Densenet通过密集连接将不同感受域的中间特征聚合在一起，因此在目标检测任务中表现出良好的性能。尽管D

RNN结构如图所示： Xt∈RxX^t\in R^x表示t时刻的输入(XtX^t是多少维，则这一层有多少个神经元，这里设为xx维，图中画的是3维）ht∈Rhh^t\in R^h表示t时刻隐层的输出(假设这一层有h个神经元）yt∈Ryy^t\in R^y表示t时刻的预测输出 dt∈Ryd^t\in R^y表示t时刻的期望输出 V∈Rx×hV \in R^{x\times h}表示从输入层到隐层的

相较于RNN，LSTM只是改变了隐含层中神经元在不同时刻的传播机制 将隐层某个神经元看成一个cell, 这个cell有3个输入，上一个时刻的隐层某神经元的保留状态Ct−1C_{t-1},上一个时刻的隐层某神经元输出的传递信息ht−1h_{t-1}, 当前时刻的样本XtX_t, 该cell由3个gate(forget, input, output)控制。一、通过忘记门决定从cell中丢失什么信息

在看 ladder network(https://arxiv.org/pdf/1507.02672v2.pdf) 时初次遇到batch normalization（BN）. 文中说BN能加速收敛等好处，但是并不理解，然后就在网上搜了些关于BN的资料。看了知乎上关于深度学习中 Batch Normalization为什么效果好？ 和优快云上一个关于Batch Normalization 的学习笔记