22、机器学习与数据库教育：分类研究与教学方法探讨

机器学习与数据库教育：分类研究与教学方法探讨

一、Hierarchical Tucker回归在分类问题中的应用

在分类问题的研究中，我们尝试使用Hierarchical Tucker回归（HTR）和前向后拆分Hierarchical Tucker回归（FTB - HTR）来解决分类问题，并与传统的逻辑回归进行对比。

1. 二元分类

• 数据处理 ：使用MNIST数据集，将数据集中的所有样本除以255进行归一化处理。从10个手写数字（0 - 9）中选择一对标签及其对应的图像。由于输入张量是28×28大小的图像，所以张量系数B是一个28×28的二阶张量。
• 模型设置 ：基于之前实验的良好估计结果，使用3组ht - rank{(1 - r1r2) | r1 = r2 = i}（i从3到5）运行HRT和FTB - HTR。除了标准的标签对（0,1），还选择了一些相近的标签对，以增加模型的难度。对于每个标签，使用4000个样本作为训练集，800个样本作为测试集。同时构建一个标准的基于向量的逻辑回归模型作为对比。
• 实验结果 ：逻辑回归具有较高的预测准确率。逻辑回归的参数数量为28×28 = 784，在这种情况下，基于向量的回归模型表现良好。但HTR和FTB - HRT的平均预测准确率也超过了94%，并且在需要处理的参数数量远少于逻辑回归的情况下，与逻辑回归模型的差异是可以接受的。HTR/FTB - HTR的参数数量根据公式（13）计算，对应其ht - rank分别为177、240和305，远小于784。这显示了HTR/F