m0_67357141的博客

先检查Anconda3的Scripts文件下有没有tensorboard.exe文件，没有的话需要pip install tensorboard。'tensorboard' 不是内部或外部命令，也不是可运行的程序 或批处理文件。打开下面生成的链接即可，可以通过刷新网页来实时查看迭代过程中的loss变换。一般每个项目都要有自己对应的环境。

DataLoader。

将图片或者特征图进行双线性上采样可以改变尺寸，在pytorch中可以使用torch.nn.function.grid_sample函数实现。

是基于对应像素点间的误差，即基于误差敏感的图像质量评价，由于并未考虑到人眼的视觉特性（人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高，人眼对一个 区域的感知结果会受到其周围邻近区域的影响等），因而经常出现评价结果与人的主观感觉不一致的情况。必须满足两张图像的size要完全一样。可以衡量图片的失真程度，也可以衡量两张图片的相似程度。与MSE和PSNR衡量绝对误差不同，SSIM是感知模型，即更符合人眼的直观感受。

求出对w和b的偏导分别为0.9和0.6，假设学习率为0.1，则更新w=0.8-0.1×0.9=0.71，更新b=0.2-0.1×0.6=0.14，loss减小。反向传播算法思想：利用求导的链式法则从后向前计算参数梯度值。w和b的偏导与输入、输出和真实值有关。

学习率（步长）：人为设定，控制梯度下降的步长（初始常见值为0.001、 0.01，结果不好由大到小进行调整）batch表示一次迭代的样本数量，一般设置为64 128 256，在显卡等允许的前提下越大越好。随机梯度下降(SGD)：会受离散点、噪音点的影响。梯度：切点的方向，沿着切线方向前进是最快的。目的：最小化损失函数，一个优化的思想。当损失函数有多个参数时，要分别优化。梯度下降：沿着梯度的反方向走。

网络中浅层是通用的：

卷积目的：把原始输入的图像转化为一个特征矩阵（特征图），矩阵的每一个数值代表原始图像一个小区域的特征值，在一个小区域也可以提多个特征。卷积核就相当于神经网络的权重参数，1×1的卷积核和全连接的效果差不多。

三线性插值（基本思想：转化为一系列线性插值，在一个体素面上的点可以使用双线性插值计算，也可以转化为两次线性插值）基本原则：突出感兴趣的采样值区间，弱化不重要的采样值区间，即对体数据进行分类的过程。三维标量场数据通过是由多层的二维标量场数据转化来的，变为3D网格数据（体素）沿投射光线方向按一定间距采样，即重采样，采样点会落在任意体素内。如果累积的不透明度已经到达1，即对后面的点是完全遮挡。使用传输函数：将采样值映射为图像属性的映射规则。核心：输入为三维标量场数据，输出为二维图像。经典算法：光线投射算法。

激活函数：起非线性映射的作用，其可将神经元的输出幅度限制在一定范围内，一般限制在（-1~1）或（0~1）之间。最常用的激活函数是Sigmoid函数，其可将（-∞，+∞）的数映射到（0~1）的范围内；tanh是Sigmoid函数的变形，tanh的均值是0，在实际应用中有比Sigmoid更好的效果；偏置：偏置的设置是为了正确分类样本，更好的拟合数据，是模型中一个重要的参数，即保证通过输入算出的输出值不能随便激活。我们一般用深层的神经网络而不是浅层“肥胖”的网络，因为当准确率差不多的时候，参数的数量却相差数倍。

深入理解L1、L2正则化 - ZingpLiu - 博客园 (cnblogs.com)

泛化是指从训练集中学习得到的模型参数在测试集中的好坏程度，测试数据必须和训练数据处于同一分布。