我已经三天没有学习了,这几天一直在玩炉石传说和跑跑狼,我决不能如此堕落,从今天到2月14号,每天都要学习。
1
class StandardScaler:
"""
Standard the input
"""
def __init__(self, mean, std):
self.mean = mean
self.std = std
def transform(self, data):
return (data - self.mean) / self.std
def inverse_transform(self, data):
return (data * self.std) + self.mean
其实我之前没有看懂这个类是干嘛用的,现在我知道了,它是用来将数据标准化的,至于为什么这样处理能够提高算法的性能,我就不知道了。
scaler = StandardScaler(mean=np.mean(
final_fc), std=np.std(final_fc))
它配合着这段代码来使用,就可以得到一个标准化器,scaler,里面记录了均值和标准差
2
pseudo = []
for i in range(len(final_fc)):
pseudo.append(np.diag(np.ones(final_pearson.shape[1])))
这一段是生成对角矩阵
3
我之前就一直奇怪,我必须要修改我abide_PLSNet.yaml文件里的atlas,要不然的话矩阵的维度不对。
pseudo = []
for i in range(len(final_fc)):
pseudo.append(np.diag(np.ones(final_pearson.shape[1])))
我们看这一句,final_person.shape[1]是111啊,这段代码最后生成的是1009个111*111的矩阵
4
这一段就很离谱
if 'cc200' in dataset_config['atlas']:
pseudo_arr = np.concatenate(pseudo, axis=0).reshape((-1, 200, 200))
elif 'aal' in dataset_config['atlas']:
pseudo_arr = np.concatenate(pseudo, axis=0).reshape((-1, 116, 116))
elif 'cc400' in dataset_config['atlas']:
pseudo_arr = np.concatenate(pseudo, axis=0).reshape((-1, 392, 392))
else:
pseudo_arr = np.concatenate(pseudo, axis=0).reshape((-1, 111, 111))
我先生成1009个111111对角矩阵,然后我再把这些矩阵拼一块,再重构成111111的,如果模型是cc200,那就要重构成200*200的矩阵,那肯定不对,要么多了要么少了
5
final_fc, final_pearson, labels, pseudo_arr = [torch.from_numpy(
data).float() for data in (final_fc, final_pearson, labels, pseudo_arr)]
我懂这一段是什么意思了,这就涉及到一个问题,numpy就可以处理三维数组,那么为什么还要用pytorch呢,因为数据量太大,cpu处理起来太慢了,所以要用gpu辅助运算,那么自然要把data从numpy数组转化为pytorch的三维数组
6
length = final_fc.shape[0]
train_length = int(length * dataset_config["train_set"])
val_length = int(length * dataset_config["val_set"])
这一段就是划分测试集和验证集的比例
首先这个length是1009,然后abide_PLSNet.yaml中显示train_set为0.7,val_set为0.1。那么train_length就是10090.7即为706.3,int处理之后即为706。val_length即为10090.1,即为100.9,即为100
7
dataset = utils.TensorDataset(
final_fc,
final_pearson,
labels,
pseudo_arr
)
这里改来改去都给我看晕了,追根朔源,final_fc就是timeseires,final_person就是皮尔逊积差相关系数矩阵
8