Buevara的博客

激活函数softmax

突发奇想，想看pytorch中某个变量更新状态，在model初始化时：emb = []# 初始化模型参数for i,model in enumerate(models): for j,param in enumerate(model.parameters()): if i==0 and j==1: emb = param print("************",emb.shape)在模型反向传播后

BNBatchNormalization于2015年被谷歌提出，简称BN。计算方式如下：就是对每个batch_size 的数据进行标准化，变成均值为0，标准差为1的数据，消除特征间的量纲差别。同事还引入了两个可学习的参数: β 和 γ分别为 scala 和shift，让模型学习适应的分布。值得注意的是，BN是对不同batch内样本的同一个特征进行归一化，例如有身高体重和年龄三个特征。是一种“列缩放”。BN能够解决梯度弥散。通过将输出进行适当的缩放，可以缓解梯度消失的状况。拿sigmoi

无论L1、L2正则化方法，本质上都是乘法参数W使其等于或者趋向于0;但有没有可能有一种正则化方法会使参数W趋向于非零值呢?答案是:可以这样做 将w约束到A附近。L1正则化法:对参数进行一次约束,会形成稀疏解L2正则化的特性:参数W变小、但不为零，不会形成稀疏解为什么会产生这样的结果呢？可以从两种角度去解释：解释1：直观感受(几何):黄色区域表示正则项限制，蓝色区域表示优化项的等高线，要满足在二者交点上的点才符合最优解w*。故:当w的等高线逐步向正则限制条件区域扩散时，前者交点大多在非.

需要转化为numpy进行判断转化为numpy的方法有两种方法1: tf.Session().run(tensorA) 转化为numpyprint(type(tf.Session().run(tf.constant([1,2]))))结果：<class ‘numpy.ndarray’>方法2: 使用eval()方法sess = tf.InteractiveSession()print(type(tf.constant([1,3]).eval()))或sess = tf.

做实验时到的问题：'feature_embeddings:0' not found in checkpoint当时的实验室分别训练modelA和modelB，再将B模型的参数载入到A中，具体如下图所示：modelA中包含modelB中所有参数，可以将modelA中参数载入ModelB，但是反过来则报错，具体载入语句为：# 存储saver = tf.train.Saver(max_to_keep=5) saver.save(self.sess, self.save_path + 'model.

查看 CUDA 版本：cat /usr/local/cuda/version.txt或者：nvcc -V查看 CUDNN 版本：cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2查看能否使用gpu：jupyter输入：import tensorflow as tfprint("Num GPUs Available: ", len(tf.config.experimental.list_physical_devi

keras中没有对AUC的定义，需要我们自己定义：x = np.linspace(-6, 6, 200)y = np.array([0.0]*100 + [1.0]*100)state = np.random.get_state()np.random.shuffle(x)np.random.set_state(state)np.random.shuffle(y)x_train, y_train = x[0:160], y[0:160]plt.scatter(x_train, y_trai