八千里路云和月

import numpy as npimport matplotlib.pyplot as pltfrom PIL import Imagedef img_show(img): pil_img=Image.fromarray(np.uint8(img)) pil_img.show() tt=np.zeros((280,280))print(tt.ndim)pr...

看到Adam的算法，具体写法有些差异。原理大致一样。先翻译下意思--------------------------------------------------算法1：Adam,我们的随机优化推荐算法。更高效（但略不明白）的计算次序，具体见第2部分。代表元素层面的平方。对已测试过的机器学习问题的较好的默认设置是=0.001,=0.9,=0.999,。所有的矩阵操作都...

optimizer=SGD(0.88)optimizer=AdaGrad(0.88)可以看出，用AdaGrad方法，使得学习路径比较平缓，更快速地到达梯度最小点# -*- coding: utf-8 -*-"""Created on Tue Jun 25 09:04:14 2019@author: Administrator"""import...

class Convolution: def __init__(self, W, b, stride=1, pad=0): self.W = W. #W二维大小的滤波器 self.b = b #b二维大小的偏置 self.stride = stride self.pad = pad def forward...

momentum:v的形状与params[key] 相同，与grads[key]相同。v[key] = momentum*v[key] - lr*grads[key]params[key] += v[key]当momentum=0时，就是SGDoptimizer=Momentum(0.8,0)#相当于sgd,可以看到有多之字形震荡：optimizer=...

二层神经网络图解反向误差传播法：其中Affine层如下： 其中dot 为矩阵乘法其中，Softmat-with-Loss层，把softmax 函数和 cross_entropy_error函数合一起来考虑：sigmoid函数的反向传播：...

求偏导数函数如numerical_gradient(f,x) 是根据来求得的。它的输入x ,可以是1维的，也可以是多维的。比如求x=np.array([1])处的偏导数比如求x=np.array([1.0,2.0,3.0])处的偏导数比如求x=np.array([[1.0,2.0,5.0],[3.0,4.0,6.0]]) 是2*3矩阵，求x处的偏导数...

import numpy as npimport matplotlib.pyplot as pltn=np.arange(1,100,1)y=np.power(1+1/n,n)plt.plot(n,y,label="(1+1/n)^n")plt.title("e")plt.legend()plt.show()

为什么说SGD有缺陷，呈现之字形，是因为图像的变化并不均匀，所以y方向变化很大时，x方向变化很小，只能迂回往复地寻找，效率很低。怎么画出来的？设计了个实验，显示出SGD的这个特征：函数用SGD方法来循环学习，找到（x,y）,使得f最小。图像输出，使用的是从（-5，-5）点开始出发的，循环opt_num次后，画出图形如下，含义为，从（x=-5，y=-5）点，往最终（...

利用偏导数计算方向导数其中梯度定义：gradf =梯度是向量。方向导数=梯度*单位向量方向导数是数值， 梯度和单位向量相乘，是向量点积（参见前面的图）。方向导数 = cos(θ) × 梯度，因此，所有的下降方向中，梯度方向下降最多。θ为方向导数所取方向与梯度的夹角。举例说明：z=f(x,y) 在(x0,y0)处的梯度为（3，4）...

在科学计数法中，为了使公式简便，可以用带“E”的格式表示。例如1.03乘10的8次方，可简写为“1.03E+08”的形式自然常数，是数学中一个常数,是一个无限不循环小数，且为超越数,其值约为2.71828。python中 exp() 方法返回x的指数...

https://blog.youkuaiyun.com/weixin_43114885/article/details/903789144.2.4　mini-batch 版交叉熵误差的实现one-hot格式的监督数据def cross_entropy_error(y, t): if y.ndim == 1: #一维数组要把第一维放到第二维，表示只有一条数据 t =...

import numpy as np#y 代表3*10的数组，实际意义，3行，每行是0~9的取值概率y=np.array([[0.1,0.1,0,0,0.8,0,0,0,0,0], [0.1,0.1,0,0,0.1,0.7,0,0,0,0], [0.1,0,0,0,0,0,1,0,0,0]])t=np.array([4,6,6]) #t为比对数...

with open(r'C:\test.txt','r') as f:print(f.read())二进制with open(r'C:\123.txt','rb') as f: print(f.read())with open(r'C:\Users\Administrator\Desktop\123.txt','w') as f: print(f.wri...

import matplotlib.pyplot as pltfrom matplotlib.image import imreadimg=imread('C:/123.jpg')plt.imshow(img)plt.show()

print(np.random.randn(2,3))标准正态分布又称为u分布，是以0为均数、以1为标准差的正态分布，记为N（0，1）。x=np.random.randn(1000)print(x)avr=np.sum(x)/x.size #均值print(avr)print(np.sum((x-avr)**2)/x.size) #方差x=np.random....

先来个2维的输入输入为：滤波器为输入大小为 (H, W) 滤波器大小为(FH, FW) 输出大小为(OH, OW) 填充为P，步幅为 S输入（1,1,H,W）, 经过im2col后，得到 （ OH*OW ，FH*FW）的数组，之后和滤波器相乘。python中运行如下：-------------------------------------------...