2403_88150975的博客

原创 Swin-UNETR模型论文综述

首先总结一下模型的结构，以及数据处理的流程，模型的结构由Patch Embedding，Position Embedding，Transformer Encoder，MLP Head五个模块组成，模型运作的流程为，先将图片通过Patch Embedding这个模块处理切割成多个patch，并将图片变成张量形式的数据；创建一个CLS Token，加入到patch的序列中；

原创 知识提炼部分方法代码实现

功能模块作用教师模型提供软标签或中间特征作为知识源学生模型学习教师知识，提升性能与压缩模型大小蒸馏损失将真实标签和教师软标签结合，优化学生。

原创 深度学习——知识提炼

硬标签（Hard Label）软标签（Soft Label）它不仅告诉模型“哪个类别是对的”，还告诉模型“对每个类别的置信度”。对比蒸馏强调结构性、相对性，是目前较先进的一种蒸馏方式，特别适合与自监督、对比学习结合使用。

原创 注意力机制模块代码

通过“压缩”（Squeeze，全局平均池化）和“激励”（Excitation，两个全连接层）生成通道权重；可插入至编码器或解码器的每个卷积块中（如UNet的每个Down或Up Block后）；脑出血CT中不同通道可能对不同病灶结构敏感，ECA能动态调整通道权重；SKNet通过动态融合不同卷积核大小的特征，适应不同尺寸的目标区域；在深层网络特征较丰富后使用，能更好地强化重要信息，抑制无关信息；能抑制冗余背景区域，突出出血区域的关键通道与空间位置；提升模型对关键通道的响应能力，抑制无关通道；

原创 深度学习————注意力机制模块

SENet 只关注“哪个通道重要”，CBAM 则进一步判断：哪些通道重要（Channel Attention）哪些空间位置重要（Spatial Attention）类比人类视觉：不仅知道“哪些颜色”重要（通道），还要知道“看哪里”最重要（空间）

原创 深度学习——超参数调优

一句话理解：超参数对训练过程的影响巨大。一个合理的超参数组合可能让模型快速收敛、泛化能力强；而不合适的设置可能导致：模型不收敛过拟合或欠拟合训练速度极慢浪费大量资源与时间学习率太大 ➜ loss 震荡甚至发散学习率太小 ➜ loss 降得极慢，浪费时间网络太深 ➜ 训练困难，可能过拟合Batch Size 太小 ➜ 收敛不稳定；太大 ➜ 内存吃紧调优的目标是找到一组最优超参数组合，使得模型在验证集上表现最优（即泛化能力强），而不是仅仅在训练集上表现好。Accuracy（分类任务）mIoU、Dice（分割任务

原创 UNet++在DSB2018数据集上复现

原创 损失函数 Dice Loss, Dice + BCE , IoU Loss

步骤解释sigmoid将输出转换为概率view(-1)展平图像数据求预测和真实标签的重叠区域smooth防止除以 0 的技巧1 - dice将重叠度转为损失函数推荐使用的场景：医学图像分割（肿瘤、细胞等）小目标不平衡任务（前景少、背景多）对结构和边界要求高的任务IoU（Intersection over Union）即“交并比”，用于衡量两个区域之间的重叠程度：其中：A 表示预测的分割掩膜（预测 mask）；B 表示真实的分割掩膜（ground truth）；

原创 掩膜合并代码

这是比较完整的掩膜合并代码掩膜（mask）， 通俗易懂来说就是对图片中重要内容做的标签，一般的掩膜都是二值型的，背景的像素是0，而掩膜的像素是255。为什么要进行掩膜合并：模型在处理文件时，一般是一张图片只能对应一个mask，但是有些图片中的特征比较多，需要多个mask标记，这些mask又是单独的文件，所以要将他们合并，方便后面模型处理掩膜合并的过程简单来说就是：先确认文件的路径存在，再将图片提取出来，将图片的格式通过插值的方法统一格式像素大小方便后面进行处理。

原创 深度学习————模型保存与部署

当你训练好一个深度学习模型后，它会拥有“学习到的参数”，这些参数（权重、偏置等）构成了模型的“知识”。如果不保存这些参数，那么训练好的模型在关闭程序后就会丢失。所以，模型保存就是将训练好的参数（或整个模型）保存到磁盘上，供之后加载使用或部署。state_dictTorchScript 是 PyTorch 的一个中间表示，它允许模型以静态图的形式保存并运行。这使得：可脱离 Python 环境运行可通过C++ API部署支持推理优化（如。

原创 ISBI 2012 EM 神经元结构分割数据集复现UNet

【代码】ISBI 2012 EM 神经元结构分割数据集复现UNet。

原创 pytorch训练可视化工具---TensorBoard

功能API标量值（loss）图像多图像模型结构参数直方图超参对比Embedding。

原创 深度学习中--模型调试与可视化

项目推荐做法分类任务同时记录 train/val loss 与 acc 曲线回归任务使用 MSE / MAE 曲线代替 acc使用多个优化实验用 TensorBoard 对比不同模型表现想快速定位问题绘出训练集 vs 验证集的 loss 曲线，看是否发散# 打印模型摘要，查看各层输出这将给出每一层的输出维度、参数数量、是否需要训练的参数等。对于模型架构的调试非常有用。训练曲线监控：通过或wandb实时监控损失和准确率曲线，及时发现模型是否出现过拟合或欠拟合。权重与梯度的可视化：通过或。

原创 深度学习---获取模型中间层输出的意义

在 PyTorch 中，Hook 是一种机制，允许我们在模型的前向传播或反向传播过程中，插入自定义的函数，用来观察或修改中间数据。最常用的 hook 是forward hook（前向钩子），它可以用来获取某一层的输出，也就是我们通常说的中间特征图观察现象可能原因调整方向特征图全 0ReLU 死区、参数异常更换激活函数、重新初始化特征图太早过小Pooling、stride 设太大减小 stride、减少池化层间特征图变化微小梯度小、训练不足增大学习率、加 BN中间层关注区域不合理。

原创 深度学习---常用优化器

场景是否推荐用 Adam说明小模型训练（如 MLP、CNN）✅✅✅稳定、无需复杂调参，适合快速实验初学者使用或结构新颖✅✅容错率高，容易收敛医学图像初步建模✅✅常用于 baseline 训练复杂大模型（如 Transformer）❌ 不推荐替代方案为 AdamW，更稳定场景是否推荐用 AdamW说明Transformer 模型训练（如 BERT、Swin Transformer）✅✅✅论文标准优化器，收敛稳定微调预训练模型（如 BERT fine-tune）✅✅✅。

原创 文献综述：nnU-Net模型复现的逐渐实现

Unet这个模型，主要由两个部分组成，分别是收缩路径和扩展路径两个部分组成，并由这篇论文中提出的新结构跳跃连接（Skip Connections）使得每一层的卷积部分都会与反卷积部分对应层的输出连接起来，形成一种U型结构。这种结构就是论文中所说的“全卷积网络”。收缩路径主要是基础的CNN层，作用是缩小图片的空间尺寸大小，并不断提取图片中的特征信息。扩展路径主要是上采样模块（反卷积模块），作用是逐渐恢复图片的空间尺寸大小，并借助跳跃连接从收缩路径中捕捉遗落的一些图片中的细节特征。

原创 复现nn-Unet模型 实验报告

Unet++这个模型，是Unet模型的优化版，主要和Unet不同的地方是跳跃连接，这篇论文中提出了更加复杂，同时效果也更好的跳跃连接网络结构，在Unet中的跳跃连接中，解码器中的层只能和对应的编码器中的层拼接，使其更好的捕捉恢复图片中的细节特征，而在Unet++中的跳跃连接中，解码器中的层不仅能和对应的编码器中的层拼接，还能和其他编码器的层通过卷积的方式使其数据格式一致后拼接，使其能够捕捉更多的细节特征。

原创 深度学习 ———— 迁移学习

)也可以统一使用较小学习率，比如1e-4。这时候，只有最后一层（fc）是可训练的。阶段冻结情况优化哪些层学习率阶段1冻结全部层，fc 除外只训练fc1e-3阶段2解冻layer4训练1e-4阶段3解冻layer3训练1e-5。

原创 深度学习 ----- 数据预处理

)

原创 深度学习 CNN

return x。

原创 pytorch框架学习---PyTorch基础与简单神经网络 实践任务

计算简单函数的梯度（如y = x**2 + 3*x）

原创 pytorch框架学习---PyTorch基础与简单神经网络

函数：y = x**2 + 3*x + 1，求dy/dx在x=2的梯度。

原创 文献综述：CT图像在脑出血检测中的应用与发展

脑出血是临床常见的急性疾病，及时的进行精准的检测对后面的治疗非常重要。而CT检测是检测脑出血的非常重要的一个标准，现在广泛用于脑出血急性期的检测。但是随着技术的发展，对于脑出血的不同分期（急性期、亚急性期、慢性期）在CT图像上的表现出的差异使得脑出血的早期诊断仍然有些困难。最近随着深度学习的高度发展，深度学习大模型也应用到这一领域。本文对不同的CT图像分析对于脑出血检测的不同的方法进行总结，并着重与传统CT图像分析和深度学习大模型图像分析的差异。

原创 统计学习方法---支持向量机

通过支持向量计算：其中，

原创 统计学习方法---逻辑斯谛回归与最大熵模型

模型形式最大熵模型的条件概率分布为：其中：为特征函数，表示输入 (x) 和输出 (y) 的某种关系。为特征函数的权重。为规范化因子，确保概率和为 1。特征函数通常是二值函数（例如 是或否 两个值的函数）。与逻辑斯谛回归的关系二项逻辑斯谛回归是最大熵模型的特例，当特征函数为输入特征（）时，两种模型等价。逻辑斯谛回归算法输入：训练数据集，学习率。初始化：权重 (w) 和偏置 (b)。

原创 统计学习方法---决策树

信息熵（Entropy）表示系统的不确定性程度。设有一个训练集 D，它包含 K 类，每类样本所占比例为 pk​，则：越混乱，熵越大；越纯净，熵越小。其中：称为特征A的熵（SplitInfo），表示使用该特征分裂数据的不确定性。给定一个数据集 D，其中第 k 类样本所占比例为 pk​，则其基尼指数为：当所有样本属于同一类时，Gini=0，表示最纯；越混杂，Gini 越大。剪枝是指在决策树构建完成后，对其结构进行简化，删除那些对最终决策影响不大的子树或节点，以提高模型的泛化能力。

原创 统计学习方法---朴素贝叶斯

P(y)：通过计算每个类别在训练数据中的频率来估计。它反映了在没有任何特征信息的情况下，样本属于某一类别的可能性。

原创 统计学习方法---k近邻法

k近邻法（KNN）

原创 统计学习方法---感应机

原文概念感知机是由 Rosenblatt 在 1957 年提出的一种二类分类的线性模型，是神经网络和支持向量机的基础。原文：“感知机是定义在特征空间 Rn\mathbb{R}^nRn 上的超平面分类模型。

原创 统计学习方法---统计学习及监督学习概论

统计学习是关于从数据中学习模型的学科，它结合了统计学、计算机科学和优化理论。目标是学习一个从输入到输出的映射函数，用于预测、分类、回归等任务。其中 X\mathcal{X}X 是输入空间，Y\mathcal{Y}Y 是输出空间。实际上，我们并不是在找唯一的 fff，而是在预设的一个函数集合（即假设空间）中寻找最优的那个。三类学习方法：监督学习、无监督学习、半监督学习。评估的关键：分训练集、验证集和测试集来评估模型的性能，使用交叉验证来提高评估的可靠性。模型性能平衡。

原创 pytorch框架学习

张量是一个多维数组nn.ReLU(),nn.Sequential：放置模型的容器，按照相应的顺序安放多个层，简化模型的定义nn.Flatten：将二维数据转化为一维数据，也就是将数据展平，方便后面的运算nn. Linear(28*28, 128)：全连接层nn. ReLU()：激活函数，增加非线性关系，增加表达水平。

原创 医疗图像分割技术的发展：从U-Net到Swin Transformer的文献综述

U-Net奠定了基础，适合数据有限的场景。引入全局信息，突破了CNN的局限。兼顾效率与精度，广泛应用于2D和3D分割任务。优化与创新（如Swin V2、DS-TransUNet、自监督预训练）进一步提升了性能。, 102727.