- 博客(28)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 python 库timm模块是怎样实现在创建一个模型时，任意更改分类头的类别数
注：更改其他层参数应该也是同样的道理，当有被改动的参数时，被改动的网络层将使用随机初始化的参数，那些没有被修改过的网络层，将获得预训练时的权重，大概就是这样。在使用timm库的时候，比较疑惑为什么加载了预训练模型后，还可以任意更改分类的类别数量的，并且还不会保存。通过timm加载一个预训练的模型，并根据自己的需要设置分类数量，时需一句话就可以了。
2023-02-20 01:10:14
1404
原创 图手工特征提取
提取的特征类型肿瘤异质性分数 .cvs1. heterogeneity scoresspatial statistics scores：量化每个表型的聚集或分散程度的分数graph-theoretic scores: 测量肿瘤图拓扑结构的分数information-theoretic scores ：量化肿瘤多样性的分数，根据存在的间期表型及其相对比例cell interaction scores：评估肿瘤生态系统中二重表型之间成对联系的分数2.边的类型数+每种细胞密度（14 维）
2022-08-10 12:34:36
341
原创 浅谈正余玄位置编码
从字面上理解这个编码的意思，就是我对一个位置编码时同时涉及到正余玄编码，在有关transformer中的编码方式为一半正玄编码，一半余玄编码（并且这两种方式是交替编码的），当然，根据我个人的理解，这个比例是可以调整的，且看有没有必要进行调整。eg:例如我有一个位置，他的编号为1，那么我希望用正余玄对他进行编码，比如编码为10dim,这里的dim是可以自定义的，那么我得到的这10dim编码，有5dim是正玄计算得到的，有5dim是余玄计算得到的。例如我的图片被切成了9个小方格，编码依次是1，2，3，……9，
2022-07-07 11:42:09
1237
原创 pytorch 将数据集加载到内存后再训练
当我们数据比较大时，加载数据，然后再将数据丢到模型中训练时，有时候由于IO的原因，绝大部分时间放在了加载数据上，这时为了提高模型的训练速度，，详细间代码下面是一个图片分类的数据集原理很简单，在第一次读取数据的时候就一边读取，一边将数据加载到内存中，所以如果是第一次迭代的时候，还是很慢的，这个时候迭代的时候并没有从内存中读取数据，所以在使用的时候，我会先对数据加载一边，但这时候什么都不做，不将数据丢到网络中训练，只为将数据加载到内存中，具体看下面代码用法和常规的数据使用方法有点小区别上面是正常操作，目的
2022-07-01 17:36:43
4843
2
原创 pytorch下训练模型出现 target 8 is out of bounds
在模型调试阶段，如果定位不出具体的错误，建议将模型放在CPU上进行调试，这样荣誉i做9分类，在CPU上调试时，报的错误是从报错的信息可以看出，是计算损失函数时出错了，但是在GPU上进行调试时，根本不容易定位到具体错误，如下：从这个报错来看，非专业人士几乎看不懂从报错来看，是标签超出了界限，作9分类，我的标签是从1开始的，所以会报错，将标签改为从0开始就解决问题了...
2022-06-27 17:54:21
3935
8
原创 Multimodal Co-Attention Transformer for Survival Prediction in Gigapixel Whole Slide Images
用于千兆像素全切片病理图像生存预测的多模式共注意机制的transformer1、摘要在计算病理学中，生存结果的预测一直是比较有挑战的若监督任务、有序回归任务，它涉及到在千兆WSI的肿瘤微观环境中模拟复杂的相互作用。尽管在最近的多实例学习中将wsi转化为包的形式取得了一定的进展，但是对于整个WSI的表示学习仍然是一个开放的，有挑战性的问题，尤其是在一下几个方面：在大的包中特征聚合的计算复杂度对于纳入生物先验知识（例如基因测量）的数据异质性差异大所以在这项工作中，作者提出了一个多模式共同注意力机制
2022-05-31 10:52:55
1638
1
原创 python heatmap画法
任务描述将一个归一化的分数以热图的形式显示出来，分数高的地方颜色深，分数小的地方颜色浅注意：使用单一颜色无法实现这种渐变过程原理将单通道的0-1之间的score值映射到三通道的颜色空间原料一个单通道的score矩阵颜色空间列表，通过matplotlib.pyplot.get_cmap获得工具matplotlib.pyplot、numpy、cv2、PIL.Image常用的画法还有：plt.scatter,可直接对score进行映射显示颜色参考1、Miscellaneous colo
2022-04-22 09:54:49
1632
原创 用pytorch实现两个矩阵之间的距离运算
说明：a向量有m个点，b向量有n个点，计算a中每一个点与b中所有点的距离，并用阈值筛选出大于某个值的个数，求平均值debug用pytorch进行矩阵运算时出现如下错误，原因是索引超出范围 lymph_num += len(dist[dist < 500])#代码行RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronously reported at some
2022-03-29 23:08:15
1079
原创 卢实验结果
内部验证*************** inference best accuracy model************ accuracy for best accuracy from my define fn: 0.8119349005424955 accuracy for best accuracy from pytorch: 0.8119349005424955 f1 score for best accuracy from pytorch: 0.8807339449541284val
2022-03-26 21:53:32
328
原创 sksurv 中一致性的计算
concordance_index_censored理论支撑：1996年的文章，Multivariable prognostic models: issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errors说明：1、一致性指数定义为预测和结果一致的所有可比对的比例2、如果 1）两个样本都经历了一个事件（在不同的时间），或者 2）观察到存活时间较短的一个样本经历了
2022-03-23 15:23:40
2028
1
原创 特征提取后的维度变化
主要用于在使用一个现有的模型对数据进行特征提取时，进行维度降维，主要使用到线性变化，例如使用resnet50进行特征提取时，可能得到的是2048维特征，但是此时如果进行线性变化，就可得到512维或是128维等特征class LinearNorm(nn.Module): def __init__(self, cfg): super(LinearNorm, self).__init__() self.fc = nn.Linear(cfg['IN_CHANNELS'],
2022-03-22 10:12:49
806
转载 pandas 数据筛选与索取
转载于博客园pandas的数据形式导入数据1 #导入pandas和numpy库2 import pandas as pd3 import numpy as np4 from pandas import Series,DataFrame 5 test=pd.read_excel("/Users/yaozhilin/Downloads/exercise.xlsx",sep="t")6 test.head(5)#显示前五行选取行或者列 test[:2]#选取行基于.loc方法来索引
2022-03-01 11:26:52
2199
原创 python tqdm的使用方式
1、比较高阶的用法desc：进度条的描述信息，也称进度条的前缀total：要监视的进度的总数ascii:进度条显示的方式，bool ，为True时使用编码更新的方式展示ncols（int）：整个输出信息的宽度nrows（int）：进度条的高速position（int）：设置打印进度条的位置，可以设置多个barcolour（str）：进度条的颜色pbar_all = tqdm.tqdm(desc="处理进度", leave=True,
2022-02-24 18:00:50
3323
原创 copy_miss_patch_for_process_seg
用于将HoVerNET漏分割的patch复制到另一个文件夹，便于重新处理import shutilfrom tqdm import tqdmimport osimport pdbimport glob'''all_patch_path:总的patch的路径overlay_path：HoVernet处理后输出的可视化分割图copy_path ：漏处理的patch所要存放的地址，以便重新进行细胞核分割'''all_patch_path=''overlay_path=''copy_pat
2022-02-15 15:57:37
238
原创 根据TXT文件中的文件名复制文件
import shutilimport os'''txt_path:txt的文件地址，里面存放的是所要复制的文件名，但这个文件名不包含文件地址mat_path：所要复制的mat文件的文件地址out_path:复制的目标地址'''txt_path=''mat_path=''out_path=''path_list=[]with open(txt_path,'r') as f: for line in f.readlines(): line = line.st
2022-02-15 15:11:39
705
原创 TILs相关代码使用说明readme
此文档用于介绍几个脚本的使用情况1、组织分割文件：wsss_wzz.zip使用说明：运行name_list.py获得数据的名字表格运行src/mask 获得需要的mask运行 src/test2.py2、细胞核分割和识别——HoVer-net运行脚本：run_tile_TCGA.sh需要更改的地方：--type_info_path= \ 分类信息，直接使用，与训练时所用到的信息一致--model_path= \ #模型路径--input_dir= \ #需要分割的patc
2022-01-21 11:25:03
1019
1
原创 ubuntu修改pip默认下载源
pip 的镜像源清华：https://pypi.tuna.tsinghua.edu.cn/simple/中科大：https://pypi.mirrors.ustc.edu.cn/simple/阿里云：https://mirrors.aliyun.com/pypi/simple/豆瓣：http://pypi.douban.com/simple/方法：建立pip.conf文件，文件地址为：~/.pip/pip.conf可以使用：gedit ~/.pip/pip.conf 构建在新建的文件中
2022-01-19 22:20:00
2242
原创 pytorch GPU内存管理
1、PyTorch 提供了 memory_allocated() 和 max_memory_allocated() 用于监视 tensors 占用的内存； memory_cached() 和 max_memory_cached() 用于监视缓存分配器所管理的内存.2、PyTorch 提供了 empty_cache() l来释放所有未使用的缓存的内存，以便其它 GPU 应用能够使用. 但是，并不能释放 tensors 所占用的 GPU 显存，因此，其并不能增加 PyTorch 的可用 GPU 显存量.py
2022-01-06 09:28:13
13894
2
原创 解决mlflow 无法打开的问题
项目场景：ubuntu上使用mlflow追踪模型训练参数时，无法打开mlflow的场景提示：之前使用mlflow ui可以追踪模型参数，但是在关掉对应窗口后就出现了下面的情形，关闭方式采用“Ctrl+c”或直接关闭浏览器所致报错如下：[2021-12-27 17:11:42 +0800] [19609] [INFO] Starting gunicorn 20.1.0[2021-12-27 17:11:42 +0800] [19609] [ERROR] Connection in use: ('1
2021-12-27 17:36:56
1381
原创 ubuntu和windows内网下文件共享
在同一个局域网下，要想实现ubuntu和windows文件传输，通常只需要在ubuntu电脑上安装samba,通常并不会一次性成功，因为安传samba时可能会出现依赖无法安装的情况，这时候就要进行简单的debug，具体根据不同的情况作相应的更改，以下是在安装samba时出现依赖问题，具体见下文1、错误警告step1:sudo apt-get updatesudo apt-get dist-upgradesudo apt-get install samba samba-commonwarning
2021-12-26 01:51:18
1173
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人