- 博客(30)
- 收藏
- 关注
RSS订阅原创 多模态融合：阿尔茨海默病检测
本实验包含 645 名阿尔茨海默病受试者，分为 AD、CN 和 MCI 组，数据集包含 3D MRI 图像与一份CSV数据，MRI数据与CSV中的数据通过受试者ID进行关联。：指的是已经确诊的阿尔茨海默病，这是一种神经退行性疾病，通常表现为认知功能的显著下降，特别是记忆丧失、语言问题、以及其他认知能力的严重损害。AD 是痴呆最常见的原因。：代表认知正常，指的是没有出现明显的认知障碍或记忆问题的人。这类人在认知测试中表现正常，不显示出认知功能的下降。
2025-01-01 17:36:13
889
原创 N2：构建词典
设置分词器和自定义词典：使用jieba进行中文分词，并加载自定义词典。去除标点符号和停用词：定义了和两个函数，以减少分词结果中的噪音。构建词典：通过函数构建词汇表，该函数统计token频次并返回词汇字典。文本数字化：展示了jieba分词后的文本、去除停用词后的文本以及数字化后的文本。。通过本周的学习，我了解到在深度学习项目中，构建词典和进行文本预处理是至关重要的步骤。使用jieba分词库可以有效地对中文文本进行分词，而自定义词典和停用词的设置则有助于提高分词的准确性和文本处理的质量。此外，
2024-12-19 12:36:33
947
原创 N1：one-hot编码案例
本周主要学习了one–hot 编码的概念、优缺点以及通过 Python 代码实现对英文、中文文本进行 one–hot 编码，并使用 jieba 分词工具处理中文文本。
2024-12-13 11:46:06
951
原创 TR6：Transformer 实现文本分类 - Embedding版
Embedding 是一种将高维稀疏向量（如文本分类中 one-hot 编码后的向量）映射到低维密集向量空间的技术。在文本处理里，它能把词语转化为低维实数向量，向量间距离反映词语语义相关性。像“苹果”“香蕉”的 Embedding 向量距离近，因语义相似，这种特性让模型更好捕捉文本语义信息。Embedding 是PyTorch中最基本的词嵌入操作，TensorFlow中也有相同的函数，功能是一样。它将每个离散的词汇映射到一个低维的连续向量空间中，并且保持了词汇之间的语义关系。
2024-12-05 11:47:19
1182
原创 TR5：Transformer实战文本分类
本周主要学习了如何使用Transformer完成文本分类任务，更加深入地了解了Transformer模型。开始模型在测试集上的准确率只有56.82%，后期通过调整EPOCH使得测试集准确率达到76.69%。
2024-11-29 17:07:06
533
原创 TR3：Pytorch复现Transformer
Transformer 网络架构架构由 Ashish Vaswani 等人在 Attention Is All You Need一文中提出，并用于机器翻译任务，和以往网络架构有所区别的是，该网络架构中，编码器和解码器没有采用 RNN 或 CNN 等网络架构，而是采用完全依赖于注意力机制的架构。网络架构如下所示：Transformer改进了RNN被人诟病的训练慢的特点，利用self-attention可以实现快速并行。注意力机制是神经网络中一个迷人的概念，特别是在涉及到像 NLP 这样的任务时。它就像给
2024-11-14 19:51:41
1279
原创 R7：糖尿病预测模型优化探索
加快收敛速度原理：在未进行标准化处理时，不同特征的取值范围可能差异巨大。例如，一个特征的取值范围是0 - 1，另一个特征的取值范围是0 - 1000。在基于梯度下降的优化算法中，如随机梯度下降（SGD），损失函数的梯度更新会受到特征尺度的影响。对于取值范围大的特征，其梯度更新步长可能会过大，导致模型难以收敛到最优解；而对于取值范围小的特征，其梯度更新步长可能过小，模型学习这些特征的速度会很慢。标准化将数据变换到均值为0、标准差为1的分布，使得不同特征具有相似的尺度。
2024-11-07 22:03:29
1190
1
原创 R6：LSTM实现糖尿病探索与预测
随着训练的进行，训练准确率不断上升，而测试准确率在前期长时间停滞，后期虽然有所上升，但上升幅度小于训练准确率。这表明模型在训练集上的学习能力较强，但在测试集上的泛化能力相对较弱。训练损失持续下降，而测试损失在下降过程中出现了波动，并且在后期与训练损失的差距有一定程度的扩大。这也暗示模型可能过度拟合了训练数据，导致在测试集上的表现不如在训练集上的表现稳定。实验中尝试通过提高学习率至1e-3，可以将预测准确率提升到71.3%，而提高训练轮数则始终难以收敛。
2024-11-02 21:12:46
1099
1
原创 R5：天气预测-探索式数据分析
探索式数据分析（Exploratory Data Analysis，简称EDA）是数据分析过程中的一个关键步骤。它是指在正式进行复杂的数据分析和建模之前，对数据进行初步的、开放式的调查，以了解数据的基本特征、分布情况、变量之间的关系等诸多方面的内容。通过探索式数据分析，医学研究人员可以快速熟悉医疗数据，发现数据中的异常值、模式、趋势，为后续更深入的医学研究（如疾病预测模型构建、治疗效果评估等）提供基础和思路。通过本次实验我对探索式数据分析（EDA）有了进一步的了解。
2024-10-25 11:36:14
1146
原创 R3：LSTM-火灾温度预测
定义训练函数train_loss = 0 # 初始化训练损失和正确率# 计算预测误差pred = model(x) # 网络输出loss = loss_fn(pred, y) # 计算网络输出和真实值之间的差距# 反向传播opt.zero_grad() # grad属性归零loss.backward() # 反向传播opt.step() # 每一步自动更新# 记录loss# 定义测试函数size = len(dataloader.dataset) # 测试集的大小。
2024-10-17 23:12:09
868
原创 R1：RNN-心脏病预测
左图：训练与验证准确率训练集的准确率（蓝色线）：随着训练次数增加，呈现出平稳上升趋势，最终接近0.92左右，说明模型在训练数据上的拟合效果逐渐变好。验证集的准确率（橙色线）：一开始随着训练迭代次数增加，验证准确率也在提升，但在约20次迭代后，准确率趋于平稳，甚至有一些波动，特别在50次之后，表现出明显的下降和上升不稳定现象。右图：训练与验证损失训练集损失（蓝色线）：损失随着迭代次数逐渐下降，这表明模型在训练集上不断优化，误差减少。
2024-10-11 11:18:48
1123
1
原创 进击J9：Inception v3算法实战与解析
Inception v1和v3都是Google的深度学习研究团队开发的深度卷积神经网络架构，它们在图像识别任务上取得了显著的成绩。将5×5卷积分解为两个3×3卷积!将 n×n 的卷积核尺寸分解为 1×n 和 n×1 两个卷积。
2024-10-01 23:17:07
1796
原创 进击J8：Inception v1算法实战与解析
Inception v1是一种深度卷积神经网络，它在ILSVRC14比赛中表现出最佳的分类和检测性能。Inception V1有22层深，参数量为5M。同一时期的VGGNet性能和Inception V1差不多，但是参数量远大于Inception V1。是Inception V1的核心组成单元，提出了卷积层的并行结构，实现了在同一层就可以提取不同的特征，如下图按照这样的结构来增加网络的深度，虽然可以提升性能，但是还面临计算量大（参数多）的问题。
2024-09-25 17:53:18
790
原创 进击J7：对于ResNeXt-50算法的思考
第一段代码定义了一个名为block的函数，该函数用于构建ResNeXt网络中的残差单元（Residual Block）。残差单元的主要目的是通过残差连接（shortcut connection）解决深度神经网络训练中的梯度消失和梯度爆炸问题，同时提高网络的表示能力。第二段代码则定义了stack函数，用于堆叠多个残差单元（block）来构建ResNeXt网络的一部分。通过堆叠残差单元，可以逐步增加网络的深度和复杂度，从而提高网络对数据特征的提取和表示能力。
2024-09-19 11:57:08
1816
原创 进击J6：ResNeXt-50实战
ResNeXt是由何凯明团队在2017年CVPR会议上提出来的新型图像分类网络。ResNeXt是ResNet的升级版，在ResNet的基础上，引入了cardinality的概念，类似于ResNet，ResNeXt也有ResNeXt-50，ResNeXt-101的版本。ResNeXt论文原文：Aggregated Residual Transformations for Deep Neural Networks。
2024-09-12 15:07:12
892
原创 进击J5：DenseNet+SE-Net实战
SE-Net 是 ImageNet 2017（ImageNet 收官赛）的冠军模型，是由WMW团队发布。具有复杂度低，参数少和计算量小的优点。且SENet 思路很简单，很容易扩展到已有网络结构如 Inception 和 ResNet 中。已经有很多工作在空间维度上来提升网络的性能，如 Inception 等，而 SENet 将关注点放在了特征通道之间的关系上。
2024-09-02 00:11:01
1019
原创 进击J4：ResNet与DenseNet结合探索
总体而言，DPN的训练效果相对更加稳定，无论是训练准确率和损失的变化，还是测试准确率和损失的波动都小于两者。这可能意味着DPN所采用的模型、参数设置或训练策略在一定程度上更加合理，能够更好地适应数据和任务。自己尝试构建还是比较困难，主要还是参考别人的，除了DPN之外，也参考了“DenseNet_Resnet”、“densenet121”，效果差不多。下周停更对前面的知识进行一下复盘和巩固。
2024-08-23 20:26:52
732
原创 进击J3：DenseNet算法实战与解析
在计算机视觉领域，卷积神经网络（CNN）已经成为最主流的方法，比如GoogLenet，VGG-16，Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcuts，skip connection），进而训练出更深的CNN网络。
2024-08-13 23:29:41
865
原创 进击J2：ResNet50V2算法实战与解析
上一次实验我们熟悉了 ResNet 的基本结构与应用，而本次实验的目的在于了解 ResNetV2 与 ResNetV 的区别，同时复现 ResNet50V2。ResNetV2 和 ResNetV1（即ResNet）都是深度残差网络（ResNet）的变体，ResNetV2 是在 ResNetV1 的基础上进行改进的一种版本，旨在提高模型的性能和稳定性。
2024-08-09 17:10:23
337
原创 进击J1：ResNet-50算法实战与解析
何恺明提出了一种残差结构来实现上述恒等映射(图1):整个模块除了正常的卷积层输出外，还有个分支把输入直接连到输出上，该分支输出和卷积的输出做算术相加得到最终的输出，用公式表达就是H(x)= F(x)+x^2，x 是输入， F(X)是卷积分支的输出， H(x)是整个结构的输出。可以证明如果 F(x)分支中所有参数都是0,H(x)就是个恒等映射。残差结构人为制造了恒等映射，就能让整个结构朝着恒等映射的方向去收敛，确保最终的错误率不会因为深度的变大而越来越差。
2024-07-26 10:46:44
1229
原创 麻醉医生的深度学习之旅 P10：Pytorch实现车牌识别
本次实验主要是熟悉如何导入并识别无法分类的数据集，以及通过自定义一个MyDataset加载车牌数据集并完成车牌识别。同时理解了在要求模型输出结果是多维数据时，可以使用 -1 在计算中自动推断。由于近期任务比较繁重，所以这次实验有些划水了。原本想尝试作图对loss与accuracy进行实时显示，以及复习一些其他的操作都没有完成，希望下周开启进阶营后能多花些时间好好钻研。
2024-07-16 21:40:30
1010
原创 麻醉医生的深度学习之旅 P9：YOLOv5-Backbone模块实现
本次实验主要是尝试运用YOLOv5算法中的Backbone模块搭建网络，对比用C3模块实现的结果，可以看到测试集的准确率有所提升，loss也更小了。以 YOLOv5s 模型为例，其主要由 Backbone、Neck 和 Head 三部分组成，网络模型见下图。Backbone主要负责对输入图像进行特征提取。Neck负责对特征图进行多尺度特征融合，并把这些特征传递给预测层。Head进行最终的回归预测。【YOLOv5】Backbone、Neck、Head各模块详解。
2024-07-08 22:16:51
645
原创 麻醉医生的深度学习之旅 P8：YOLOv5-C3模块实现
本次实验主要是尝试运用YOLOv5算法中的C3模块搭建网络，另外通过修改优化器比较实验结果对于 Adam 和 SGD 的差异有了更深刻的理解。最后尝试了增加/调整C3模块与Conv模块来提高准确率，训练集准确率和损失有了明显的改善，但测试集变化不大，有待下周进一步学习探索。YOLOv5 是一种单阶段目标检测算法，该算法在 YOLOv4 的基础上添加了一些新的改进思路，使其速度与精度都得到了极大的性能提升。输入端。
2024-07-02 12:14:25
1013
原创 麻醉医生的深度学习之旅 P7：咖啡豆识别（VGG-16复现）
本次实验主要是VGG-16的复现，同时完成自己搭建VGG-16网络框架。验证集准确率达到100%（完成✅）使用PPT画出VGG-16算法框架图（略微尝试，有待进一步学习）在不影响准确率的前提下轻量化模型（完成✅）
2024-06-25 20:21:04
801
原创 麻醉医生的深度学习之旅 P6：VGG-16算法-Pytorch实现人脸识别
本次实验的重点任务是调整代码提高测试集准确率，难度较大。虽然这次实验在拔高任务中失败了，但在一次次“炼丹”中感受到了科学的艺术魅力，作为一个菜鸟“调参侠”，逐渐明晰了不断试错去寻求一个平衡点，只有在阴阳调和的情况下才能得到一个理想的结果。下周的P7继续努力！保存训练过程中的最佳模型权重（完成✅）调用官方的VGG-16网络框架（完成✅）测试集准确率达到60%（多次调整代码未能实现目标，还有待进一步学习）手动搭建VGG-16网络框架（完成✅）# 卷积层# 全连接层# 卷积层# 展平。
2024-06-18 22:16:27
1049
原创 麻醉医生的深度学习之旅 P5：Pytorch实现运动鞋识别
本次实验的重点任务是设置动态学习率，在训练过程中学习率不是固定不变的，而是根据一定的策略或规则进行动态调整。在与P4进行对比过程中我发现：设置超参这一步在P4中是放在编写函数之前的，但在P5中放到了编写函数之后，且损失函数放到了正式训练中，不知这样调整顺序是何用意？另外对于保存最佳模型的理解还不够充分，不知上述代码是否正确。在训练初期，较大的学习率可以帮助模型快速探索参数空间，加速收敛。但随着训练的进行，模型逐渐接近最优解，过大的学习率可能会导致模型不稳定或错过最优解。
2024-06-09 22:32:12
2165
1
原创 麻醉医生的深度学习之旅 P4：Pytorch实现猴痘病识别
训练过程中保存效果最好的模型参数（完成✅，通过判断测试集最高acc）加载最佳模型参数识别本地的一张图片（完成✅）调整网络结构使测试集accuracy到达88%（重点）（完成✅，通过更改优化器实现）调整模型参数并观察测试集的准确率变化（完成✅）尝试设置动态学习率（未完成）测试集accuracy到达90%（未完成，最高只有88.8%）本周的代码相对于上周增加了指定图片预测与保存并加载模型。
2024-06-04 22:06:49
805
原创 麻醉医生的深度学习之旅 P3：Pytorch实现天气识别
通过本次实验熟悉了从本地加载并分割数据集的方法，同时进一步掌握了CNN的搭建和使用拔高部分的要求还在摸索中，后面继续学习如何调用模型识别本地图片数据、模型是基本固定的，所以在尝试通过调参、增加训练轮数等提高测试集accuracy。
2024-05-28 16:02:13
1050
原创 麻醉医生的深度学习之旅 P2：CIFAR10彩色图片识别
通过本期实验，再次复习并强化了深度学习的模型训练套路，为日后自主编写完整的深度学习程序打下基础数据收集：收集用于训练和测试模型的数据集数据预处理：清洗数据，进行归一化、标准化，以及数据增强等操作定义模型架构：根据问题的性质设计神经网络的结构，选择合适的层和激活函数编译模型：配置模型的损失函数、优化器和评估指标训练模型：使用训练数据对模型进行训练，调整模型参数评估模型：使用验证集或测试集评估模型的性能模型调优：根据评估结果对模型进行调整，包括调整网络结构、超参数等，“调参大法好”
2024-05-21 22:28:51
1168
1
原创 麻醉医生的深度学习之旅 P1：Pytorch 实现 mnist 手写数字识别
首先，需要掌握一些数学基础：如线性代数、微积分、概率论和统计学等。个人感觉最枯燥难受的一部分😭，但是这些知识有助于理解深度学习和机器学习的原理和算法。所以还是得静下心来慢慢啃，可以参考李沐的《动手学深度学习》第二章内容。这部分其实对我来说没那么重要，所以我没有花太多时间去找教学视频，点到即止。其次，需要学习机器学习的基本概念和方法，如监督学习、无监督学习、回归、分类、聚类、降维等。机器学习是一种让计算机从数据中学习规律和知识的技术，它是深度学习的基础和前提。可以参考李宏毅的《机器学习》课程的内容。
2024-05-14 23:41:01
983
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人