smallflyingpig的专栏

近期使用torch写神经网络的框架，初次接触，踩了不少坑，在这里总结一下。tensor typetorch中tensor是有类型的，默认是DoubleTensor

BatchNormallization是神经网络中的一个正则化技术，可以加速网络的收敛，并且在一定程度上解决深度网络“梯度弥散”的问题。它本是数据预处理的一种方法，google的研究人员将它应用在了神经网络中。论文地址：https://arxiv.org/abs/1502.03167 理论pytorch batch normalization:

推荐资料 wiki:Long short-term memory RNN

转置卷积/解卷积/transposed conv/deconv reference: http://deeplearning.net/software/theano/tutorial/conv_arithmetic.html 1. 从一维卷积开始 * kernel=3, stride=1, padding=0 conv(x)=(x1,x2,x3,x4,x5)T⎡⎣⎢⎢⎢⎢⎢k1k2k300...

import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D def mlp_layer(x, w, b=0): return np.tanh((w.transpose())*x + b) def BCE(y_hat, y): return -(y*np.log2(...