jjw_zyfx的博客

看了好多关于L1、L2 正则化的文章，大多讲的比较正规(一堆数学公式)，今天我就从自己的理解角度谈谈我对L1、L2正则化的理解1、为啥要谈L1、L2 正则化，因为我发现学机器学习和深度学习都避免不了，人家会说正则化，会用一些正则化优化的策略，并且自己还怎么不懂2、当然学这些避免不了一些基础的公式比如：L1 正则化公式 f(w)=∣x1∣+∣x2∣+∣x3∣+∣x4∣+......f(w) = |x_1|+|x_2|+|x_3|+|x_4| + ...... f(w)=∣x1​∣+∣x2​∣+∣x3​

具体区别看代码import torchx = torch.arange(4.0, requires_grad = True)y = 2*torch.dot(x,x)y.backward()x.gradx.grad.zero_()y = x.sum()y.backward()x.gradx = torch.arange(4.0, requires_grad = True)y = 2*torch.dot(x,x)print('y\n', y) # 说明此时的y是个标量y.bac

填充公式和方法：

import torch# 生成一个指定的tensora = torch.Tensor([[1, 2], [3, 4]])print(a)print(a.type())# 生成一个2行3列的tensora = torch.Tensor(2, 3)print('Tensor', a)print(a.type())# 生成3行3列的全1 的tensora = torch.ones(3, 3)print('ones', a)print(a.type())# 对角线是1其他全0a

import torcha = torch.rand(2, 2)print('a\n', a)print('求平均\n', torch.mean(a))print('求和\n', torch.sum(a))print('求所有元素相乘\n', torch.prod(a))print('-'*50)print('指定维度')print('a\n', a)print('求每一列的平均值\n', torch.mean(a, dim=0))print('求每一列的和\n', torch.s..

math

power指数次方

ReLU激活函数图形sigmoid图形tanh图形

0 范数：当前向量中的元素之和1 范数：对应向量元素只差的绝对值之和2 范数： 元素的平方和再开方p 范数： 元素的绝对值的P次方之和再开P次方核范数：矩阵的奇异值（在参考参考别的资料）通过dist来计算向量与向量之间的距离度量norm 是针对一个向量或者一个矩阵去计算范数 而 dist是用来衡量两个向量或者矩阵之间的距离import torcha = torch.rand(2, 1)b = torch.rand(2, 1)print(a, '\n', b)print(torch.

总结下来就是对X求导如果X是向量则结果需要转置一下