breato-优快云博客

原创 cs231n 学习笔记第七课

复习：（1）为什么要进行归一化：使分类函数的裕度更大，对数据扰动的容忍程度更大（2）过拟合的解决方法：添加正则化项（3）参数调整规则：一般最先调整学习率（最敏感），调整到比最优值略小更有效的优化：（1）随机梯度下降的问题： a.一些函数的梯度方向并不是指向其最小值的，此时使用梯度下降就会出现“之”字型曲线。e.g.椭圆形等高线 b.会卡在损失函数的局部极小或鞍点上。 p...

2018-11-15 16:06:55 307

原创 cs231n 学习笔记第六课

0.mini-batch SGD( stochastic gradient descent) 四步：（1）对整个数据采样一个小批次（2）将这批次数据传入计算图进行计算（3）反传计算梯度（4）利用梯度更新参数 1.激活函数（activation function）：sigmoid, Relu, tanh sigmoid存在的问题：（1）神经元饱和（输入值的绝对值很大，输出接...

2018-11-09 21:27:30 277

原创 cs231n学习笔记第四课

1.反向传播：核心为链式法则，通过对一系列中间变量进行简单的求导计算来得到整个复杂函数的梯度 local gradient * upstream gradient:对当前节点求导并将其与上游节点导数相乘，逐渐回传 sigmoid function: 计算图中：加法门的本地梯度是1，故将上游梯度直接分配给两个支流；乘法门将两个支流的值交换再与上游梯度相乘，进行传递；最大值门将上游梯度...

2018-11-04 21:35:21 257

原创 cs231n学习笔记-第三课

1.损失函数(loss function):用于评价分类器表现，变量为预测值和实际值（判断预测结果） multiclass svm loss function: 考虑第i张图片，xi为其像素值，yi为其标签，s为其分类结（是一个向量，），分别为分类结果对应第1~j类的值。我们将所有的非目标类别的值与分别与目标类别的值做差，如果结果大于一定值（这里是-1），则意味着这个结果是需要改进的，...

2018-11-02 21:05:13 171

转载 list增加元素的几种方法

list.append():增加维度: [1,2,[3,4]] ps:对列表增加int,float时直接用append而非extend ps2:列表中插入字典也可使用append list.extend():在原维度上扩展元素: [1,2,3,4] list.insert(position,x):在指定位置前插入元素x...

2018-10-19 10:40:52 24286

import numpy as np a = [1,2,3] b = np.array(a) c = np.random.random(size=(3,3)) # invert d = np.linalg.inv(c) # determinant e = np.linalg.det(c) # transpose f = np.transpose(c) # multiply g = np.matm...

2018-10-11 08:57:49 774

转载控制程序只使用相应显卡

添加代码 import os os.environ["CUDA_VISIBLE_DEVICES"]="0"#0对应相应的显卡编号

2018-07-22 14:36:43 595 1

breato的博客