liu___c-优快云博客

原创一些学习笔记

ResNet由多个残差块（Residual Blocks）组成，每个残差块包含两条路径：一条是卷积层的堆叠，另一条是恒等连接（Identity Connection），允许输入直接跳过一些层的输出，然后与这些层的输出相加。这些计算是通过一系列的数学公式和激活函数来实现的。其中，h_t表示t时刻的隐藏状态，x_t表示t时刻的输入，o_t表示t时刻的输出。Transformer Encoder是Vision Transformer模型的核心部分，它负责处理输入的token序列，并输出包含丰富信息的表示向量。

2024-12-12 14:50:54 1059

原创 Pytorch可视化与生态介绍

你还可以查看“HISTOGRAMS”选项卡来了解模型参数分布的变化，“GRAPHS”选项卡来查看计算图结构（虽然对于Keras用户来说通常不需要手动查看），以及“DISTRIBUTIONS”和“PROFILER”等其他选项卡来获取更多信息。注意：在上面的代码中，tf.summary.image的第三个参数step通常用于指示训练步骤，但在仅可视化图像时可能不是必需的。在训练脚本中，需要使用TensorFlow的摘要（summary）API来记录标量（如损失和准确率）、直方图（如权重和偏置的分布）、图像等。

2024-12-05 16:43:01 1026

原创 Pytorch模型定义与训练技巧

ModuleDict和ModuleList一样，都只是存储了各个层，却没有定义层与层之间的先后顺序，因此它也要用forward定义一个向前传播方式,同上）#这里的unet1.outc能够从unet1模型中提取出outc层，=后面是对该层进行的修改，这里是将输出通道数进行了修改（其他层的通道数修改也类似这样）。#因为多卡模式下创立的模型是分布在多张卡上的，保存整个模型的话，很可能会导致换台机器模型运行不了的情况发生。#下采样连接：保留有效信息的同时减少特征图的尺寸，从而降低计算量，提高模型的运行效率。

2024-12-01 18:50:13 846

原创 pytorch学习笔记2

深度学习流程

2024-11-26 16:03:20 835

原创 pytorch基础知识的一些笔记

例如，在一个简单的线性回归模型训练过程中，计算出损失后，调用 loss.backward() ，模型的权重和偏置张量的 .grad 属性就会被更新为损失函数关于它们的梯度。- 首先，在PyTorch中，需要设置模型的参数（例如神经网络的权重和偏置）的 requires_grad 属性为 True。通俗来说，损失函数就像是一个裁判，它给模型的预测结果打分，分数越低，说明模型的预测结果越接近真实情况，模型的性能就越好。- 然后，构建一个计算图，通过一系列的操作（如加法、乘法、激活函数等）得到损失函数的值。

2024-11-22 12:02:52 496

原创 python学习笔记

其一般形式为 range(start, stop[, step])，其中 start 是序列的开始值，stop 是序列结束的上限（注意，生成的序列不包括 stop 值），而 step 是可选的步长，若不进行设定，则默认为1。# 上图是一个生成素数的基本算法，而下图则是通过剪枝优化后的一种算法，不难看出相较于上图的算法，下图的优化后的算法排除了偶数这一很容易就能确定不是素数的数，从而提升了搜索速度。# 如此图中，循环是否停止只与操作者输入的东西有关，假如一直不输入done，那它就是个死循环。

2024-11-18 23:28:01 676