- 博客(38)
- 收藏
- 关注
RSS订阅原创 解决VSCode按住Ctrl（or Command） 点击鼠标左键不跳转的问题（不能Go to Definition）
往往在升级了VSCode以后，就会出现按住Ctrl（or Command） 点击鼠标左键不跳转的问题，这个问题很常见。
2024-07-04 10:48:24
6638
原创 【全身病灶定位的文章】(不想整理了，一堆屎)
同时，我也注意到了一个问题，那就是为什么要做CLIP，为什么要alignment，我注意到了transformer结构，也就是注意力问题。实际上，信息的交互需要联系在一起，K，Q，V之间之所以有价值，就是特征向量相似。同时发现对于 （lesion detection）领域，Sadik（2006，2008，2009）都有研究，这是一个连续的工作，因此，我从Sadik 的文章入手，虽然Sadik的文章是从bone scan，但是和PET-CT的影像很像。，这样的多模态背景。通常也表示，匹配，定位，关联的意思。
2024-06-04 10:23:10
968
原创 数据集标签数量不均衡如何设计loss均衡数量
对于哪些数量分布比值较少的标签提供更多的loss注意力比重，如何提高训练注意力比重，也就是说，让模型的梯度更多的倾向于有利于数据标签分布较少的数据训练，对于loss来说就是扩大这个标签的loss。
2024-05-07 09:44:53
325
原创 PromptMRG(上—背景介绍): Diagnosis-Driven Prompts for Medical Report Generation
Automatic medical report generation (MRG) is of great research value as it has the potential to relieve radiologists fromthe heavy burden of report writing. Despite recent advancements, accurate MRG remains challenging due to the needfor precise clinical
2024-04-09 11:08:34
1509
原创 阅读 Dictionary Learning (2011)(上). What is the right representation for my signal?
阅读 Dictionary Learning (2011). What is the right representation for my signal?（I Tošić, P Frossard）Huge amounts of high-dimensional information are captured every second by diverse natural sensors such as the eyes or ears, as well as artificial sensors l
2024-04-08 22:01:21
618
原创 在集群中使用deepspeed如果端口被占用可以使用deepspeed参数更改
这些命令居然都不好使，还是优快云上的回答数据稀疏度更好，G老师墨迹来墨迹去都是让我该环境变量，结果通通不好使。最终还是这个命令一招见效。使用就将 29500 改成 29501。在集群中使用deepspeed默认的端口号29500被占用，显示更改居然不起作用。G老师给的方法也不好使。这一次G老师不好使了。
2024-04-04 22:11:17
1350
原创 使用deepspeed，transformers，safetensor中常见的训练精度，共享权重问题
虽然deepspeed有混合精度训练的功能，但是对于网络上各种奇奇怪怪的代码的DIY转化中，他还是很弱小的。它的精度问题，使用deepspeed如果模型中有部分模型使用的是half精度，那么整个模型都会使用half精度，即使是nn.LayerNorm这样新创立的层。因为我们通常可能在计算权重的时候使用half，在LayerNorm的时候使用float32这样更好的归一化，防止因为的问题消失或者爆炸。所以通常建议使用float32精度进行计算。
2024-04-03 19:36:53
1259
原创 使用deepspeed小记
医学图像经常很大，所以训练模型有时候会有难度，但是现在找到了很多减少显存的方法。不知道为什么，使用transformers的trainer库确确实实会减少显存的占用，即使没有使用deepspeed，占用的显存也会减少。我推荐使用transformers集成模型和训练集，只需要写一个dataset和collate_fn，最多再多写一个Trainer的computer_loss,模型就可以自然而然的搞定。效率最高最有效。
2024-04-02 15:29:18
1042
原创 文本评估指标 BLEU，METEOR，ROUGE
ref_tokens = list(jieba.cut("这个是什么东西，狗吗"))cand_tokens = list(jieba.cut("这个不像是狗，更像是猫"))# embed()
2024-04-01 21:38:38
585
原创 数据集划分，根据多个标签进行训练集和测试集的划分
在模型的训练和测试中，科学的划分训练集和测试对模型的任务目标和效果测量范式至关重要我们实际中可能看到的样本可能具有多个属性，标签。它既是大的，又是有颜色，对这样的样本进行划分至关重要。
2024-04-01 09:36:16
538
原创 精读 Generating Mammography Reports from Multi-view Mammograms with BERT
代码。
2024-03-31 22:24:51
1193
2
原创 浅读 Natural Language Generation Model for Mammography Reports Simulation
这是一篇报告生成 去伪 的文章，重点看生成报告的 真实性Extending the size of labeled corpora of medical reports is a major step towards a successful training of machine learning algorithms. Simulating new text reports is a key solution for reports augmentation, which extends the coh
2024-03-31 15:34:17
883
原创 R2GenCMN中的Encoder_Decoder结构
首先介绍一下整体结构，这里的baseCMN其实就是一个包装了的Transformer的，这个Transformer里面是有n个连续的encoder和n个连续的decoder组成的。图片的输入进入encoder进行编码，这个过程是Transformer的结构，加入了位置编码和注意力机制。（凡是框框里面有的，都是一个类）文章中的组件是在。
2024-03-31 14:22:12
1222
原创 更好的理解CLIP模型
视觉编码器的输出是这样的，你可以很容易通过这样的理解，迁移使用到resnet等其他网络。如果将image和text其中一个进行。
2024-03-25 14:47:59
542
原创 R2GenCMN精读
如果回顾整个模型，那么可以说，CMN的加入是这个模型的唯一不同。如果想要去除CMN，进行Base模型的测试可以直接更改这里注释的内容，其它内容都是一样的。这里的decode函数内的embedding直接使用就是去掉了CMN。
2024-03-25 01:14:58
1476
2
原创 GLoRIA注意力
提出了一种不依赖于预训练对象检测模型来提取子区域图像特征的方法。这种方法是通过学习注意力机制，根据每个子区域对于给定单词（可能是图像的标签或描述中的词汇）的重要性进行加权。通过这种方式，系统能够对比注意力加权后的图像表示和对应的单词嵌入，进而学习到注意力权重。这样，注意力权重就成为了模型中局部特征表示的一部分，有助于更好地捕捉医学图像中的关键信息。记录一下feature map的生成过程。这样就得到attention map。然后就是和原来的图片进行匹配。
2024-03-22 10:17:01
360
1
原创 iPad ssh连接服务器编程没有好的操作界面，使用jupyter-lab在网页上就能编程啦
开始使用apk的消息和信息,您将看到默认的fish登录欢迎消息:欢迎使用fish,友好的交互式shell。iPad也是有操作系统的设备，实际上它也能当电脑使用，由于科研生活需要，连接集群是常有的事。使用ssh连接集群通常需要两次连接，第一次连接服务器节点（提交任务sbatch），第二次连接执行节点（执行任务）iSH 可以打开iPad的内部terminal，这是不同于ssh的其他软件的。我使用的是iPad的软件 iSH, 我觉得您使用其他任何其他软件都可以。执行之前的ssh命令，现在就可以进行敲代码了。
2024-03-20 14:34:41
663
1
原创 GLoRIA精读20240315 （中）
今天在使用网络的时候，发现生成注意力图很难，这个是因为中文医学词汇的数据集库分词，并不流行。但是GLoRIA给了我们一个新的思路，那就是使用与的方法。这也就是对比学的有点，医学图像特有的特点，使用局部有代表性的特征，就能给整个图片进行定义。这就是医学图像和自然图像的本质差别。论文的GLoRIA里面重点关注了注意力接着（上），进行代码实验。
2024-03-16 19:02:13
494
1
原创 GLoRIA精读20240314 （上）
In recent years, the growing utilization of medical imaging is placing an increasing burden on radiologists. Deep learning provides a promising solution for automatic medical image analysis and clinical decision support. However, large-scale manually(compa
2024-03-15 12:39:45
1222
1
原创 nltk 离线下载 wordnet 测试meteor评估指标，支持中文本生成数据集使用
使用 nltk 库就可以进行 Meteor 文本生成评估指标测试但是 nltk 使用中文需要下载额外的 wordnet 库由于集群断外部网，需要离线下载到网站：http://www.nltk.org/nltk_data/，搜索需要的工具包，点击download，下载zip的压缩包链接:在上面的目录中创建一个文件夹不需要修改已有的python代码，即可。
2024-03-14 11:19:31
1218
1
原创 ResNet网络卷积视觉网络 和 Vit （Vision Transformer）两种网络对比， 在特征提取上的不同
特征提取：卷积核通过在输入图像（或特征图）上滑动来提取特征。每个卷积核负责从输入数据中提取一种特定类型的特征，例如边缘、颜色变化、纹理等。，这些参数在训练过程中通过反向传播算法进行学习和更新。卷积操作本质上是对卷积核权重和输入图像片段（卷积核覆盖的区域）的元素进行，然后激活函数：卷积操作的输出通常会通过一个非线性激活函数（如ReLU）进行处理，以引入非线性特性，这对于学习复杂的特征和模式是必要的。多个卷积核：CNN层通常包含多个不同的卷积核，每个卷积核都可以捕捉输入数据的不同特征。
2024-03-13 19:23:01
2499
原创 ResNet网络卷积视觉网络 和 Vit （Vision Transformer）两种网络对比
ResNet网络卷积视觉网络 和 Vit （Vision Transformer）两种网络对比1. 卷积神经网络1.1 特点： 卷积+池化 （位置信息）天然携带，具有感知野, 位置信息在特征图上最终得到的特征图的像素就是 patch 维度就是卷积核数（在vit是隐藏层) ， ** 卷积核的数量——>高维信息宽 **，（图片数量, 高维长度, 特征图宽, 特征图长）2. ViT2.1 Vision Transformer 本身不是用卷积核，没有卷积操作，位置信息，在patch
2024-03-13 17:45:38
1682
原创 手动尝试加载权重，继续进行训练
需要手动加载模型的时候通常是模型没有被确定的时候，但是embed()之后变量是否保存还没有测试过。这个问题关键是使用正确的embed()
2024-03-09 18:41:37
378
原创 Vision Transformer (ViT)模型的输出，[‘last_hidden_state‘, ‘pooler_output‘, ‘hidden_states‘]区别
在使用Vision Transformer (ViT) 或类似的Transformer模型时，输出通常包含多个组件，比如last_hidden_state、pooler_output和hidden_states。这些输出部分代表了模型在处理输入图像时不同层次的信息。
2024-03-05 13:38:34
1531
原创 torch,GPU，nii重采样，多线程，内存保护，检索对应的标签信息，根据分割标签信息重采样MRI
【代码】torch,GPU，nii重采样，多线程，内存保护，检索对应的标签信息，根据分割标签信息重采样MRI。
2023-07-07 22:32:04
231
1
原创 【检查nii文件所有的像素值是否有小于零的情况,使用GPU判断,多线程】
在从采样之后为了防止像素中存在小于0的值，负值，会造成数据归一化之后背景不等于0的情况，所以需要检查。
2023-07-07 21:05:04
106
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人