基于周志华老师的《机器学习》、上一篇学习笔记以及网络的其他资料,对线性模型的这一部分内容进行一个总结。上接:机器学习:线性模型学习总结(2)。
学习时间:2022.04.19~2022.04.20
1. 数据预处理
和用Sk-Learn一样,也用来一个专门处理表格数据的函数,不过主要还是使用之前的流程:
# 数据预处理
df_x = mango_processing(df_x).astype(float)
df_y = df_y.astype(float)
# 划分训练集和测试集
tr_x, te_x, tr_y, te_y = train_test_split(df_x, df_y, test_size=0.2, random_state=42)
# 全部转换成张量
train_tensor_x, test_tensor_x, train_tensor_y, test_tensor_y = map(torch.tensor, (np.array(tr_x), np.array(te_x), np.array(tr_y), np.array(te_y)))
# 将标签转为long或float格式(根据损失函数定):
# train_tensor_y = train_tensor_y.squeeze(-1).long()
# test_tensor_y = test_tensor_y.squeeze(-1).long()
train_tensor_y = train_tensor_y.squeeze(-1).float()
test_tensor_y = test_tensor_y.squeeze(-1).float()
# 返回测试集和训练集
return train_tensor_x, test_tensor_x, train_tensor_y, test_tensor_y
2. PyTorch线性回归
因为全连接层不加激活函数,就只相当于加权求和,所以就可以当做线性回归:
class LinearModel(nn.Module):
def __init__(self):
super(LinearModel, self).__init__()
self.liner = nn.Linear(14, 1)
def forward(self, x):
x = x.to(torch.float32)
x = self.liner(x)
x = x.squeeze(-1) # 线性回归的损失函数MSELoss要求输入维数和目标维数一致,因此做了个降维
return x
3. PyTorch线性分类
在最后加一个Sigmoid函数实现逻辑回归分类:
class LinearModel(nn.Module):
def __init__(self):
super(LinearModel, self).__init__()
self.liner = torch.nn.Linear(24, 2)
def forward(self, x):
x = x.to(torch.float32)
x = self.liner(x)
x = torch.sigmoid(x)
return x
4. 回归评价
这里学习了TorchMetrics这个包,直接用来调用评价回归结果,老样子,还是先写了一个函数:
# 计算均方误差MSE
mean_squared_error = torchmetrics.MeanSquaredError()
mean_squared_error(y_pred, y_true)
mse = mean_squared_error.compute()
print('MSE:', mse, end='; ')
# 计算平均绝对误差MAE
mean_absolute_error = torchmetrics.MeanAbsoluteError()
mean_absolute_error(y_pred, y_true)
mae = mean_absolute_error.compute()
print('MAE:', mae, end='; ')
# 计算平均绝对百分比误差MAPE
mean_absolute_percentage_error = torchmetrics.MeanAbsolutePercentageError()
mean_abs