<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[闲看庭前雪的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_43605708</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_43605708]]></copyright><item><title><![CDATA[使用SPSS的McNemar检验两种深度学习模型的差异性]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/134970381</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/134970381</guid><author>qq_43605708</author><pubDate>Wed, 13 Dec 2023 14:52:11 +0800</pubDate><description><![CDATA[问题：两个深度学习模型在同一测试集下的性能是否有差异性。 前排提示：我看到好多McNemar检验的文章没有说如何用到深度学习模型检测的，所以自己给自己做个笔记.本身不难，但是很多文章都写的好乱，例如没有解释为什么深度学习模型中留一法，或者单独留出测试集的k折模型只能用McNemar 测试检验模型差异性。以及零假设是什么，为什么要拒绝。1.不使用python构建McNemar检验代码2.使用spss的McNemar检验方便快捷，适合即时使用]]></description><category></category></item><item><title><![CDATA[使用debug查看循环里的变量值]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/122911839</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/122911839</guid><author>qq_43605708</author><pubDate>Sun, 13 Feb 2022 18:20:35 +0800</pubDate><description><![CDATA[项目场景：
提示：这里简述项目相关背景：
如何查看循环里的变量值

即使使用paycharm的pyhton控制台也无法查看到的那些隐藏的变量值，
如何使用断点和debug查看

问题描述：
跑代码时，有些变量，我没法查看到，使用print，每次我都要重新跑
例如，我想查看中间变量h的形状：
代码如下：
else:
    # If MLP
    print('x.size', x.size)
    h = x
    for i in range(self.num_layers - 1):
      ]]></description><category></category></item><item><title><![CDATA[对dataframe改行名，或者说行标签，用列表修改行名]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/122894214</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/122894214</guid><author>qq_43605708</author><pubDate>Sat, 12 Feb 2022 11:53:57 +0800</pubDate><description><![CDATA[项目场景：
提示：
好想把自己遇到的所有bug和技术问题都写成博客，哈哈哈，这肯定是不可能的，毕竟太耗费时间了。

使用pandas处理数据，处理列表数据
问题描述：
提示：这里描述项目中遇到的问题：
test_data = pd.concat(MRI_test,X_test],axis=1)

合并失败！
因为，按行合并的两个df的行名不一致，和DF的合并规则，导致合并后的df的行数时这两个df的总和，没有数据的地方用nan显示。


解决方案：
一般方法：
#修改列标签
df.index = ['a0']]></description><category></category></item><item><title><![CDATA[RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/122496412</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/122496412</guid><author>qq_43605708</author><pubDate>Fri, 14 Jan 2022 16:01:51 +0800</pubDate><description><![CDATA[项目场景：
神经网络模型运行中，出现的问题。
RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!

问题描述：
出现RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!
的原因是：
]]></description><category></category></item><item><title><![CDATA[ValueError: optimizer got an empty parameter list]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/122479197</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/122479197</guid><author>qq_43605708</author><pubDate>Thu, 13 Jan 2022 17:52:28 +0800</pubDate><description><![CDATA[项目场景：
深度学习项目中，对神经网络进行编层。出现
ValueError: optimizer got an empty parameter list

问题描述：
ValueError: optimizer got an empty parameter list!
一定要具体问题具体分析。
先直接定位出错代码层，
从出错代码层可以直接看到没有self传参
class Classifier(nn.Module):
    def __init__(self):
        super(Classifi]]></description><category></category></item><item><title><![CDATA[joblib.externals.loky.process_executor.BrokenProcessPool: A task has failed to un-serialize. Please]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/122242079</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/122242079</guid><author>qq_43605708</author><pubDate>Thu, 30 Dec 2021 17:44:15 +0800</pubDate><description><![CDATA[项目场景：
编程语言：python
编程环境：windows+pycharm
具体环境：使用的因果推断模型， DMLOrthoForest
问题描述：
DMLOrthoForest中出现的进程紊乱错误，导致，进程反馈乱码，进程终结。
 joblib.externals.loky.process_executor.BrokenProcessPool: A task has failed to un-serialize. Please ensure that the arguments of the funct]]></description><category></category></item><item><title><![CDATA[Dataframe,数据框，按照含有指定列名的列表list来选择列数据]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/121957700</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/121957700</guid><author>qq_43605708</author><pubDate>Wed, 15 Dec 2021 17:49:23 +0800</pubDate><description><![CDATA[系列文章目录
标准化处理数据和panda读取excel数据，保存数据
Dataframe,数据框，按照指定列名列表list来选择列数据系列文章目录前言一、pandas是什么？二、使用list筛选df列数据解决方案总结
前言
主要就是自己经常会忘，或者和loc，iloc混淆了，在处理数据时，又经常用到，所以记载一下。
将需要筛选的几列数据的列名汇总成一个list，然后通过list筛选Dataframe，非常简单。
一、pandas是什么？
pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任]]></description><category></category></item><item><title><![CDATA[argparser 问题 Unrecognized Arguments]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/120670614</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/120670614</guid><author>qq_43605708</author><pubDate>Sat, 09 Oct 2021 14:45:05 +0800</pubDate><description><![CDATA[BUG记录
项目场景：
argparser 参数设置

问题描述：
SystemExit: 2 Unrecognized Arguments
代码：
if __name__ == '__main__':
    argparser = argparse.ArgumentParser("multi-gpu training")
    argparser.add_argument("--gpu", type=str, default='0',
                           help="]]></description><category></category></item><item><title><![CDATA[无覆盖，追加保存数据到txt文件，且数据量较大，保存到txt文件时，出现数据省略的现象的解决]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/117919234</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/117919234</guid><author>qq_43605708</author><pubDate>Tue, 15 Jun 2021 10:19:24 +0800</pubDate><description><![CDATA[无覆盖，追加保存数据到txt文件
数据量较大，保存到txt文件时，出现数据省略的现象
项目场景：

保存实验特征数据

问题描述：

在保存特征时，由于数据量较大，保存到txt文件时，出现数据省略的现象。

原因分析：
提示：这里填写问题的分析：
numpy显示与保存数据问题

解决方案：
提示：这里填写该问题的具体解决方案：
在保存代码种添加
 np.set_printoptions(threshold=np.inf)#全部输出

即可。
y = outputs_1.data.numpy()
np.set]]></description><category></category></item><item><title><![CDATA[关于保存数据时，提取数据特征的数量和样本数不匹配的原因]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/117918970</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/117918970</guid><author>qq_43605708</author><pubDate>Tue, 15 Jun 2021 10:05:54 +0800</pubDate><description><![CDATA[关于保存数据时，提取数据特征的数量和样本数不匹配的原因
项目场景：
样本总数354，测试集283，验证集36，测试集35
0个epoch，保存的特征数据是【35，90】
1个epoch，保存的特征数据是【534，90】
2个epoch，保存的特征数据是【1033，90】

问题描述：

保存特征的数量和样本数量不匹配，按理说保存一个epoch的特征的数量应该是所有样本的数量，这里反而多了。
原因分析：

0个epoch，保存的是测试集的特征，即35个
那么一个epoch保存的特征分别为，283个训练集特征，]]></description><category></category></item><item><title><![CDATA[pytorch加载保存模型]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/117752026</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/117752026</guid><author>qq_43605708</author><pubDate>Wed, 09 Jun 2021 19:02:06 +0800</pubDate><description><![CDATA[项目场景：

 pytorch加载保存模型
问题描述：

 加载保存模型
解决方案：
非常感谢这个链接
不错的记录链接：https://blog.youkuaiyun.com/comli_cn/article/details/107516740
配合该链接食用效果更加
我这里的train替换了他的predict
一、保存整个模型
虽然占用内存大，但我觉得比仅仅保存模型参数省事
保存路径：
PATH_all = '/home/ubuntu/liyafeng/NEW_train/728_fusion/daima/MRI_d]]></description><category></category></item><item><title><![CDATA[RuntimeError: multi-target not supported at]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/117601326</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/117601326</guid><author>qq_43605708</author><pubDate>Sat, 05 Jun 2021 17:37:58 +0800</pubDate><description><![CDATA[项目场景：
手搓CNN

问题描述：
提示：这里描述项目中遇到的问题：
出错代码：
batch_loss = loss(train_pred, data[1].cuda())

data[1] 是数据的标签
出错提示：
RuntimeError: multi-target not supported at C:/cb/pytorch_1000000000000/work/aten/src\THCUNN/generic/ClassNLLCriterion.cu:15
原因分析：
提示：这里填写问题的分析：
维]]></description><category></category></item><item><title><![CDATA[RuntimeError: Input type (torch.cuda.DoubleTensor) and weight type (torch.cuda.FloatTensor) should b]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/117600112</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/117600112</guid><author>qq_43605708</author><pubDate>Sat, 05 Jun 2021 17:07:14 +0800</pubDate><description><![CDATA[项目场景：
手搓神经网络

问题描述：
RuntimeError: Input type (torch.cuda.DoubleTensor) and weight type (torch.cuda.FloatTensor) should be the same

原因分析：
没有把输入数据类型转为float类型

解决方案：
x = x.type(torch.cuda.FloatTensor)
注意，加上  .cuda
我参考的文章给了我思路，在我实践的时候，发现还需要添加.cuda
参考链接
链接: li]]></description><category></category></item><item><title><![CDATA[标准化处理数据和panda读取excel数据，保存数据]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/117567115</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/117567115</guid><author>qq_43605708</author><pubDate>Sat, 05 Jun 2021 11:22:43 +0800</pubDate><description><![CDATA[标准化处理数据和panda读取excel数据，保存数据
项目场景：
提示：标准化处理数据和panda读取数据

代码：
标准化处理数据
def standardization(data):#标准化
    mu = np.mean(data, axis=1).reshape(-1,1)#axis=1按行取平均值，reshape让数据能够广播
    sigma = np.std(data, axis=1).reshape(-1,1)#std
    poor = np.subtract(data, mu)
]]></description><category></category></item><item><title><![CDATA[torch中的spmm]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/117017296</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/117017296</guid><author>qq_43605708</author><pubDate>Wed, 19 May 2021 09:55:36 +0800</pubDate><description><![CDATA[系列文章目录
本系列记录自己的代码学习知识

torch.matmul的前后两个矩阵维度不同的小结
torch中的transpose和view的不同
torch中的spmm系列文章目录前言一、torch中的spmm总结


前言


一、torch中的spmm
我自己运行的结果，spmm就是矩阵乘法
例：
z = y.transpose(0,1)
output = torch.spmm(y, z)
print('z:',z,'y:',y)
print('output:',output)

z: tensor]]></description><category></category></item><item><title><![CDATA[torch中的transpose和view的不同]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/117015186</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/117015186</guid><author>qq_43605708</author><pubDate>Wed, 19 May 2021 09:18:23 +0800</pubDate><description><![CDATA[系列文章目录
本系列记录自己的代码学习知识

torch.matmul的前后两个矩阵维度不同的小结
torch中的transpose和view的不同系列文章目录前言一、torch中的transpose二、torch中的view总结


前言


一、torch中的transpose
transpose
转置矩阵
c = ([[[1,2,3],[1,2,3],[1,2,3]]])
c=torch.tensor(c)
print('c.shape',c.shape)

c.shape torch.Size([1]]></description><category></category></item><item><title><![CDATA[torch.matmul的前后两个矩阵维度不同的小结]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/117002057</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/117002057</guid><author>qq_43605708</author><pubDate>Tue, 18 May 2021 22:23:02 +0800</pubDate><description><![CDATA[系列文章目录
本系列记录自己的代码学习知识

torch.matmul的前后两个矩阵维度不同的小结系列文章目录前言一、torch.matmul()二、详解解释1.input维度比other大2.input维度比other小总结


前言


一、torch.matmul()
torch.matmul()也是一种类似于矩阵相乘操作的tensor联乘操作。但是它可以利用python 中的广播机制，处理一些维度不同的tensor结构进行相乘操作。这也是该函数与torch.bmm()区别所在。
torch.matm]]></description><category></category></item><item><title><![CDATA[GWAS处理流程（全基因组关联分析）——对从ADNI数据库下载的SNP数据及进行质控（QC）]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/113244763</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/113244763</guid><author>qq_43605708</author><pubDate>Wed, 27 Jan 2021 12:00:20 +0800</pubDate><description><![CDATA[对从ADNI数据库下载的SNP数据及进行质控（QC）简介一、先查看数据中的个体和SNP缺失情况1.查看2.生成绘图以可视化缺失结果。二、QC第一步：删除缺失度大于某个数值的SNP和个体1.删除SNP2.删除个体3.重复1操作4.重复2操作三、QC第二步：检查性别（非必要步骤）1.检查性别2.可视化结果3.以下两个脚本可用于处理性别差异的个体。（可选，但是我没做）1.删除存在性别差异的个体1）找出并生成相应文本2）根据文本删除个体数据2.修改 input-sex四、QC第三步：最小等位基因频率（MAF）定义：]]></description><category></category></item><item><title><![CDATA[代码小结——Linux——安装pycharm和pip,  pytorch/torch]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/112746149</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/112746149</guid><author>qq_43605708</author><pubDate>Sun, 17 Jan 2021 15:32:48 +0800</pubDate><description><![CDATA[linux 安装pycharm   pip项目场景：问题描述：一、在linux上装pycharm二、给新装的的pycharm装pip解决方案：一、安装pycahrm1. 官网下载地址2.利用winscp传到服务器3.在linux上解压并安装二、pip
项目场景：
最近刚开始服务器跑程序，之前都是Windows系统上跑，现在尝试用Linux跑。
做些总结，防止自己之后会忘。
问题描述：
一、在linux上装pycharm
二、给新装的的pycharm装pip
给新装的paycharm装pip

解决方案：
一]]></description><category></category></item><item><title><![CDATA[知识小结------数据分析------Bonferroni correction（邦费罗尼校正）]]></title><link>https://blog.youkuaiyun.com/qq_43605708/article/details/112005340</link><guid>https://blog.youkuaiyun.com/qq_43605708/article/details/112005340</guid><author>qq_43605708</author><pubDate>Thu, 31 Dec 2020 12:04:19 +0800</pubDate><description><![CDATA[系列文章目录

Cox比例风险回归模型（proportional hazards model）
知识小结------数据分析------Fisher‘s exact test(费希尔检测)
Bonferroni correction（邦费罗尼校正）系列文章目录前言一、Bonferroni correction（邦费罗尼校正）是什么？二、储备知识1.零假设与备择假设2.型一错误，型二错误三、原理与公式1.我看到了一处非常好的讲解2.累积Ⅰ类错误的概率为α'3.Bonferroni法总结


前言
https:]]></description><category></category></item></channel></rss>