Xiaobai_rabbit0的博客

常见损失函数1、基本用法2、损失函数2.1、L1范数损失（L1_loss）2.2、均方误差损失 MSELoss2.3、交叉熵损失 CrossEntropyLoss2.4、KL 散度损失 KLDivLoss2.5、二进制交叉熵损失 BCELoss2.6、平滑版L1损失 SmoothL1Loss2.7、BCEWithLogitsLoss2.8、MarginRankingLoss2.9、HingeEmbeddingLoss2.10、2分类的logistic损失 SoftMarginLoss2.11、多标签分类损失

@TOC总结对比MSE损失函数，MAE损失函数以及Smooth L1_loss损失函数的优缺点1、常见的MSE、MAE损失函数1.1、均方误差MSE均方误差（Mean Square Error,MSE）是回归损失函数中最常用的误差，它是预测值f(x)与目标值y之间差值平方和的均值，其公式如下所示：下图是均方误差值的曲线分布，其中最小值为预测值为目标值的位置。我们可以看到随着误差的增加损失函数增加的更为迅猛。优点：MSE的函数曲线光滑、连续，处处可导，便于使用梯度下降算法，是一种常用的损失函

batch_norm

卷积&pooling&upsample1、卷积2、pooling&upsample1、卷积权值共享，减少参数量局部相关2、pooling&upsample

激活函数与GPU加速&测试1、激活函数2、GPU加速3、测试1、激活函数很少用的激活函数：Relu改进版2、GPU加速代码如下import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsbatch_size=200learning_rate

1、Regularization2、动量3、early stop4、dropout

import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsbatch_size=200learning_rate=0.01epochs=10train_db = datasets.MNIST('./data', train=True, download=...

运行程序之前，先开启服务器

多分类实战1、使用低层函数的操作2、使用高阶API实现1、使用低层函数的操作实战代码import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsbatch_size=200learning_rate=0.01epochs=10train_loader =

2D函数优化实例&Logistic Regression1、2D函数优化实例2、交叉熵1、2D函数优化实例import numpy as npfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import pyplot as pltimport torchdef himmelblau(x): return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1]

感知机

激活函数及其梯度1、激活函数及其梯度2、loss及其梯度1、激活函数及其梯度不可导的激活函数（阶梯函数）可导的激活函数sigmoidtanhRelu(很好用)极大的减轻了梯度离散、梯度爆炸现象2、loss及其梯度求导：方法一-求导：方法二分类激活函数：softmax...

梯度1、什么是梯度2、常见函数梯度1、什么是梯度局部最小值鞍点初始化learning rate动量2、常见函数梯度

高阶op

数学运算1、数学运算2、数据统计1、数学运算2、数据统计常见统计属性

Broadcast自动扩展+tensor的拼接&拆分1、Broadcasting1、拼接与拆分1、BroadcastingExpand 进行维度扩展，但它是自动扩展without copying data 不需要拷贝数据，节省数据空间1、拼接与拆分合并：cat、stack拆分：split、chumk按len长度来拆分按num数量拆分...

tensor维度变换

索引与切片索引索引

基本类型数据以及创建1、pytorch数据类型检查数据类型数据部署在CPU和GPU上面的区别dimension为0：标量dim为1：向量2、pytorch数据类型的创建创建一个tensor正态分布 randn1、pytorch数据类型检查数据类型数据部署在CPU和GPU上面的区别dimension为0：标量dim为1：向量2、pytorch数据类型的创建创建一个tensor正态分布 randn...

linear_regression实战_梯度下降求解二元一次方程组（线性回归）1、计算损失2、计算梯度3、循环迭代（iterate to optimize）4、训练5、结果实战_梯度下降求解二元一次方程组（线性回归）1、计算损失import numpy as np# y = wx + bdef compute_error_for_line_given_points(b, w, points): totalError = 0 for i in range(0, len(point