21、机器学习新方法：PolyFIT与BioSequence2Vec的创新探索

机器学习新方法：PolyFIT与BioSequence2Vec的创新探索

1. PolyFIT：多项式模型构建方法

1.1 模型构建流程

PolyFIT是一种新颖的多项式模型构建方法，其核心在于利用黑盒模型中的特征交互知识来创建替代透明模型。在构建过程中，涉及到一系列的计算和选择步骤。

首先，定义了$P_t$和性能差距$gap$：
- $P_t = { s : P_s }$
- $gap = \begin{cases} P_f - P_s^h, & \text{if task = classification} \ P_s^h - P_f, & \text{if task = regression} \end{cases}, \forall s \in C’ t$
其中，$P_s^h = L[y, h(x; {S {t - 1}, s})]$。

接着，从$P_t$中选择性能差距最低的节点$s$，并形成新的节点集合$S_t = {S_{t - 1}, s}$。在实验中，使用束搜索算法跟踪$K$个选定的$S_t$，以在每一步获得更好的结果$H_t = {S^k_t | k = (1, \ldots, K)}$。最后，重复树构建步骤，直到满足给定的结束标准。

1.2 实验设置与结果

1.2.1 实验数据集与模型配置

为了评估PolyFIT的性能，使用了四个数据集，包括两个二分类问题数据集（Titanic生存和Adult收入）和两个回归问题数据集（Boston房价和California房价）。训练XGBoost模型时，学习率设置为