22、简约预测器构建与回归建模替代方法

简约预测器构建与回归建模替代方法

1. 简约预测器构建

1.1 构建简约预测器的动机

开发预测器意味着要将其应用于未来的新对象，这就需要收集新对象所有协变量的数据，这可能会限制预测器的实用性和可接受性。因此，我们通常希望用尽可能少的协变量来构建预测器，即将某些回归系数设为 0。

1.2 统计方法选择协变量的可能性

乍一看，这似乎回到了寻找真实模型的问题上，但实际上情况有所不同。从原理上讲，如果我们关注优化平均预测性能（如通过均方根误差或 ROC 曲线下面积来衡量），就有可能通过统计方法选择最优的简约协变量集。

平均预测性能主要受风险评分 $\hat{\eta}(x_1,x_2, …, x_p)$ 的（平均）不精确性影响。由于 $\hat{\eta}(x_1,x_2, …, x_p) = \hat{\beta} 0 + \hat{\beta}_1x {i1} + \hat{\beta} 2x {i2} + … + \hat{\beta} px {ip}$，其不精确性源于单个 $\hat{\beta}_j$ 的不精确性。例如，移除协变量 $X_j$ 会降低 $\hat{\eta}(x_1,x_2, …, x_p)$ 的变异性，但如果真实值 $\beta_j$ 不为 0，可能会引入一些偏差。不过，如果 $\beta_j$ 较小，偏差的影响小于变异性的降低，$\hat{\eta}(x_1,x_2, …, x_p)$ 的不精确性就会降低。而且，移除多个协变量时，对于许多对象，正负贡献相互抵消，偏差实际上较小，只有少数对象（特别是所有协变量值都极端的对象）会有较大偏差。

1.3 构建简约预测器的方法演变

历史上，构建简约预测器的尝试基于所谓的模型选择程序，即对不同的候选协变量集拟合回归模型，并通过 Akaike 信息准则等标准比较拟合效果。但这种方法在数据稍有变化时，可能会从一组协变量（效应较大）大幅跳跃到另一组（效应也较大），这种不连续性不太理想。

现代方法则专注于根据数据平滑构建简约预测器的方法，它们还允许纳入简约建模的其他方面，如线性和非线性关系的选择或必要交互作用的程度。许多方法还允许在协变量数量超过观测数量（即 p > n 情况）时构建预测器，这种情况在使用高通量方法测量遗传或分子标记时常见。

1.4 构建简约预测器方法的局限性

所有构建简约预测器的方法都试图最小化（平均）预测误差，这在单纯构建平均效果良好的预测时有用，但对于许多其他目的，这些原则并不意味着具有良好的性质。具体来说，遵循这些原则的方法：
- 通常不能提供回归系数的无偏估计；
- 通常不能提供有效的置信区间和 p 值；
- 通常不能提供个体风险评分的无偏估计；
- 尤其会低估高风险对象的风险，高估低风险对象的风险。

虽然一些流行的方法试图避免其中一些困难，但没有一种方法能完全规避所有问题。因此，使用这些方法时，需要意识到这些不足，并且许多回归模型的性质可能不再成立。

2. 回归建模的替代方法

2.1 分层分析

2.1.1 分层分析的基本思想

当我们关注协变量 $X_1$ 的效应，且担心二元（或分类）协变量 $X_2$ 可能是混杂因素时，可以按 $X_2$ 的值进行分层分析。在每个由 $X_2$ 的单个值定义的层内分析 $X_1$ 的效应，这样可以排除 $X_1$ 和 $X_2$ 之间的关联对 $X_1$ 效应的解释，因为在每个层内 $X_2$ 是恒定的。

2.1.2 分层分析与回归分析的比较

一般来说，将分层分析作为研究的主要分析方法不是一个好主意，因为会得到两个效应估计值。而回归分析提供一个总体效应估计值，在证明效应存在时更有用，这主要是关于统计功效的问题。总体效应的置信区间比每个层内的置信区间窄得多，因为总体分析的样本量比单个层大。同样，使用所有数据对“无效应”的原假设进行检验通常比每个层内的相应检验更有功效。

但如果研究样本足够大，每个层内可能有足够的功效，分层分析就可能是一个可行且有趣的替代方法。例如，在乳腺癌数据集的重新分析中，如果想证明淋巴结状态对患者生存的影响不能用分级效应的混杂来解释，可以按分级的三个水平分层，在每个层内观察淋巴结状态对生存的影响，并使用 Kaplan - Meier 图直观展示效应。

2.1.3 分层分析的优势与注意事项

分层分析可能比 Cox 模型的效应估计和相应 p 值更有说服力，原因如下：
- 可以从 Kaplan - Meier 图中直接读取淋巴结状态的效应，无需参考像 Cox 模型这样的抽象工具；
- 分层分析表明淋巴结状态对低、中、高分级的患者都有（显著）效应，这相当于三个独立研究都有显著效应，提供了非正式的效应证据；
- 可以直观比较三个组中 Kaplan - Meier 曲线之间的距离，了解分级是否会改变淋巴结状态的效应。

如果功效不是限制因素，分层分析可以增加结果对读者（特别是统计背景有限的读者）的可及性，并提供比回归分析更多的信息。分层分析不限于二元或分类协变量，如果有足够的功效，连续协变量也可以分类而不损失重要信息。但在呈现分层分析时，必须小心避免误导读者。分层分析在需要调整一个协变量时最有用，但可能需要调整多个协变量。如果有足够的功效，可以按多个协变量的组合分层；否则，可以只对一个协变量分层，但在每个层内报告考虑其余协变量的调整效应估计值和相应的 p 值。此外，还应通过相应的 p 值或置信区间帮助读者判断效应修饰的统计显著性。

2.2 关联度量：相关系数

2.2.1 相关系数的应用场景

当我们想描述两个连续变量 $Z_1$ 和 $Z_2$ 之间的关联时，相关系数是广泛使用的工具，最著名的是 Pearson 相关系数及其“非参数”类似物 Spearman 相关系数。

从表面上看，使用相关系数和进行回归分析的情况有明显区别。如果关注一个变量对另一个变量的效应，即关联问题存在自然的不对称性，就使用回归分析；如果不能有意义地将两个变量分为结果变量和协变量，即两个变量的角色对称，就应该使用相关分析。

2.2.2 医学文献中回归分析常用的原因

尽管有上述明显区别，但在医学文献中，即使没有明显的不对称性，也经常使用回归分析，选择一个变量作为结果变量和一个变量作为协变量往往比较人为。原因如下：
- 回归系数的大小有明确的概念意义，而相关系数的大小更难解释；
- 传统相关系数只能评估两个连续协变量之间的关联，而回归模型可以混合连续、二元和分类变量；
- 回归分析的理论和软件比相关分析更完善。在回归框架中，考虑非线性关系或交互作用等复杂情况很容易且为人熟知，但在相关分析中则要麻烦得多。

2.2.3 相关分析中的混杂调整

不过，回归分析中的一个基本可能性，即混杂调整，在相关分析中也可以轻松实现。如果分析 $Z_1$ 和 $Z_2$ 之间的关联，可能想了解不能用它们与第三个变量 $Z_3$ 的关联来解释的相关程度。如果 $Z_3$ 是二元或分类协变量，可以通过分层解决问题，即在每个由 $Z_3$ 的值定义的层内考虑相关性。由于在每个层内 $Z_3$ 是恒定的，$Z_1$ 和 $Z_2$ 的相关性不会受到混杂影响。接下来需要找到一种方法将各层特定的相关性汇总为一个“调整后的”相关性，并将这个想法推广到 $Z_3$ 为连续变量的情况。

通过考虑 $Z_1$ 和 $Z_2$ 在给定 $Z_3 = z$ 时的条件联合分布，可以定义 $\rho_{12|3}(z)$ 为给定 $Z_3 = z$ 时 $Z_1$ 和 $Z_2$ 的相关性。如果假设 $\rho_{12|3}(z)$ 不依赖于 $z$（即 $\rho_{12|3}(z) = \rho_{12|3}$），就得到一个简单的参数模型，以 $\rho_{12|3}$ 为感兴趣的参数，可以通过最大似然原理等统计原则进行估计。在统计文献中，$\rho_{12|3}$ 称为偏相关，许多统计软件包都提供了估计程序，在 Stata 中对应的命令是 pcorr。

2.3 关联度量：优势比

2.3.1 优势比的对称性与作为关联度量的应用

优势比在结果变量和协变量的角色上是对称的。对于两个二元变量 $Z_1$ 和 $Z_2$，$Z_1$ 对 $Z_2$ 进行逻辑回归得到的优势比与 $Z_2$ 对 $Z_1$ 进行逻辑回归得到的优势比相同。实际上，优势比也可以用作关联度量，这可以通过将优势比表示为基于 $Z_1$ 和 $Z_2$ 联合分布的所谓交叉乘积来理解。

比较 $Y$ 给定 $X$ 的条件分布参数化（表 28.1）和 $Y$ 与 $X$ 的联合分布参数化（表 28.2）：
| | Y = 0 | Y = 1 |
| — | — | — |
| X = 0 | 1 - π(0) | π(0) |
| X = 1 | 1 - π(1) | π(1) |
表 28.1：$Y$ 的（条件）分布参数化

	Y = 0	Y = 1
X = 0	p00	p10
X = 1	p01	p11
表 28.2：$Y$ 和 $X$ 的联合分布参数化

已知优势比 $OR = \frac{\frac{\pi(1)}{1 - \pi(1)}}{\frac{\pi(0)}{1 - \pi(0)}}$，且 $1 - \pi(1) = \frac{p_{01}}{p_{01} + p_{11}}$，$1 - \pi(0) = \frac{p_{00}}{p_{00} + p_{10}}$，可得 $OR = \frac{p_{11}p_{00}}{p_{01}p_{10}}$。

这表明优势比可以表示为表 28.2 中对角元素乘积的比值，体现了其在处理 $Y$ 和 $X$ 时的对称性。而且，优势比的行为符合关联度量的预期：$Y$ 和 $X$ 的一致性（即 $p_{00}$ 或 $p_{11}$）增加时，优势比增加；不一致性（即 $p_{01}$ 或 $p_{10}$）增加时，优势比减小。

2.3.2 优势比的调整

如果想将优势比作为关联度量进行调整，可以采用与偏相关类似的步骤。要调整 $Z_1$ 和 $Z_2$ 之间的优势比以考虑它们与第三个变量 $Z_3$ 的关联，可以考虑 $Z_1$ 和 $Z_2$ 在给定 $Z_3 = z$ 时的联合条件分布，定义 $OR_{12|3}(z)$ 为给定 $Z_3 = z$ 时 $Z_1$ 和 $Z_2$ 的优势比。如果假设这个优势比不依赖于 $z$（即 $OR_{12|3}(z) = OR_{12|3}$），就得到一个明确定义的量，可称为“偏”优势比。

估计这个偏优势比也比较容易。对于 $Z_3$ 的任何值 $z$，$OR_{12|3}(z)$ 对应于以 $Z_1$ 为结果变量、$Z_2$ 为协变量（或反之）的逻辑模型中的优势比。如果排除效应修饰（即假设 $OR_{12|3}(z) = OR_{12|3}$），则 $\log OR_{12|3}$ 对应于以 $Z_1$ 为结果变量、$Z_2$ 和 $Z_3$ 为协变量的线性逻辑回归中 $Z_2$ 的真实效应，也对应于以 $Z_2$ 为结果变量、$Z_1$ 和 $Z_3$ 为协变量的线性逻辑回归中 $Z_1$ 的真实效应。通过拟合这两个模型，可以得到偏优势比的估计值，但这两个估计值通常会有小的差异。这是因为在第一个模型中把 $Z_1$ 视为随机变量、$Z_2$ 视为固定变量，而在第二个模型中反之，所以涉及的两个似然函数并不相同。因此，需要一些方法将这两个估计值合并为一个，并给出相应的置信区间和 p 值。

一种巧妙的方法是拟合这两个模型，但强制它们估计相同的参数。可以通过为每个对象生成一个包含三个变量 $Y$、$X_1$ 和 $X_2$ 的数据集，每个对象有两行数据。第一行中，$Y$ 设为 $Z_1$，$X_1$ 设为 $Z_2$；第二行反之。对于两行数据，$X_2$ 都等于 $Z_3$。然后拟合逻辑模型，并考虑每个对象内的聚类（例如，在 Stata 中使用 cluster 选项），这样就可以得到一个带有置信区间和 p 值的估计值。

2.4 倾向得分

2.4.1 倾向得分的应用场景

倾向得分在描述协变量效应时很有用，以协变量为治疗手段的情况为例。当想从观察性数据中估计治疗效果时，可能会出现这种情况。例如，一家诊所的医生偶尔会使用一种新治疗方法，我们想从诊所的常规数据库中估计该治疗方法的效果。对于每个患者，有一个治疗指标 $T$：
$T = \begin{cases}
1, & \text{患者接受新治疗} \
0, & \text{患者接受旧治疗}
\end{cases}$
以及一些结果 $Y$，如生存时间。

2.4.2 直接回归分析的问题与倾向得分的作用

仅对 $Y$ 关于 $T$ 进行回归来评估治疗效果是不够的，因为给予新治疗的决定可能取决于患者的预后。例如，一些医生可能会将新治疗方法用于预后较差的患者，因为他们知道旧治疗方法对这些患者无效，而新治疗方法可能有帮助。这样，简单的回归可能会显示新治疗方法有负面效果，因为预后较差的患者接受新治疗后仍然比预后较好的患者接受旧治疗死亡的可能性更大。因此，需要调整患者的预后，以确保只在预后相似的患者之间进行治疗比较。

如果医生使用了某个预后指数来判断患者的预后，可以将其作为协变量纳入回归分析。但通常预后判断是更非正式的，这时就需要纳入所有已知有预后价值且可能影响治疗决定的因素，如年龄、性别、疾病阶段和身体状况。

回归方法从概念上试图确保只在预后变量值相同的患者之间进行治疗比较，而倾向得分的想法是只在接受新治疗概率相同的患者之间进行治疗比较。如果两个患者接受新治疗的概率相同（即医生判断他们的预后相同），那么治疗决定本身就是一个随机决定，比较接受新治疗和旧治疗的患者是公平且有用的。

患者的倾向得分就是这个接受新治疗的概率，由于这个概率通常未知，需要从数据中估计。如果知道影响医生决定的所有因素，可以简单地拟合一个以治疗指标为结果变量、这些因素为协变量的逻辑回归模型，并使用该模型的风险评分作为所需概率的近似值，即估计的倾向得分。

2.4.3 倾向得分的使用方式与优缺点

将倾向得分作为协变量纳入回归模型只是使用倾向得分的一种方式。另一种流行的方法是将倾向得分作为匹配变量，即寻找接受新治疗和旧治疗但倾向得分非常相似的对象对，这些对象对为进一步分析提供基础。

关于使用倾向得分的优缺点仍在讨论中，但从回归模型的角度来看，倾向得分模型中的真实治疗效果与完整回归模型中的真实治疗效果是一致的，并且如果使用相同的协变量进行调整和估计倾向得分，倾向得分方法得到的估计值与回归分析得到的估计值非常相似。因此，使用倾向得分只是回归分析的一种替代方法，当对感兴趣的协变量（即所有可能有预后价值且影响治疗决定的因素）给定的情况下，更容易建模治疗指标的分布，而不是结果变量的分布时，倾向得分方法可能特别有用。

倾向得分方法不限于协变量为治疗手段的情况，可应用于任何二元协变量。但使用该方法只能得到一个效应估计值、置信区间和 p 值，无法获得其他协变量效应的信息，并且如何解决测量误差影响或处理不完整协变量数据等问题也不太明确。不过，专注于感兴趣的协变量，并明确区分该因素与其他需要调整的因素，也可以看作是一种优势，因为回归模型中的对称处理有时比较人为。

2.5 分类与回归树

2.5.1 分类与回归树的基本思想

评估某些协变量作用的另一种方法是根据最“重要”的变量递归地分割数据集。即首先找到变量和该变量的分割点，使分割点所隐含的两个总体之间的差异“最显著”，然后在两个总体中分别重复这个过程，寻找下一个“最重要”的变量，依此类推。

2.5.2 分类与回归树的示例

以乳腺癌数据集为例，将肿瘤大小和年龄协变量分为三个等大小的组，每个变量有两个可能的分割点；淋巴结状态和分级使用原来定义的三个组，也有两个可能的分割点。然后从 8 种可能的协变量和分割点组合开始分割数据，对每个分割进行对数秩检验，选择 p 值最小的分割。在这个例子中，将患者分为淋巴结数为 3 个或更少和超过 3 个的分割 p 值最小。然后在两个子组中重复这个过程，例如，在淋巴结数为 3 个或更少的患者中，年龄以 64 岁为分割点的 p 值最低，于是按此分割该群体。递归重复这个过程，直到最低 p 值大于 0.05。

得到的树状图显示，淋巴结状态被选为“最最重要”的变量，其次是年龄和分级（顺序可互换），而肿瘤大小只在最低层出现一次。由于年龄和分级出现在树的两个主要分支中，这表明在使用 Cox 模型分析这些数据时，使用简单的线性模型是合理的。如果两个分支中选择的变量差异很大，可能提示需要使用交互作用来充分描述数据，因为协变量的“重要性”取决于顶层选择的协变量。

2.5.3 分类与回归树的优缺点

分类与回归树主要是探索感兴趣的协变量与结果之间关系的工具。在实际经验中，它们通常是讨论数据集中可能的关联结构的有用起点，因为这类树通常容易被没有统计背景的人理解，比回归分析中抽象的效应估计更有吸引力。此外，它们还提供了一种简单的方法来检查在分析中使用回归模型的整体适用性，特别是可以发现与其他患者行为完全不同的患者群体。

然而，分类与回归树不能替代使用回归模型的正式分析。不能得出树中显示的任何分割都反映了“显著”性质的结论，因为我们是系统地寻找最小 p 值。而且，分类与回归树往往会忽略效应较小但相关的协变量，因为在树的较低节点中，群体通常太小，无法检测到更多的效应。例如，肿瘤大小在树中只出现一次，可能是因为其余群体的统计功效不足，而不是该效应不存在。此外，得到的树通常非常不稳定，第二“最重要”的分割的 p 值往往接近“最重要”的分割，如果选择第二“最重要”的分割，树的结构可能会发生很大变化。因此，要始终记住，分类与回归树主要提供数据的“快照”，不能讲述完整的故事。

综上所述，在特定情况下，替代方法可能很有用。如果统计功效足够，分层分析可能比回归分析更有信息量；如果选择一个变量作为结果变量比较人为，进行适当混杂调整的关联度量可能很有用；如果一个二元协变量起特殊作用，基于倾向得分的分析可能有用；分类与回归树则为从回归角度探索数据集提供了简单的工具。

3. 方法总结与对比

3.1 不同方法的适用场景总结

方法	适用场景
简约预测器构建	需要使用尽可能少的协变量构建预测器，尤其是在协变量数量超过观测数量（p > n）的情况下，如使用高通量方法测量遗传或分子标记时
分层分析	研究样本足够大，每个层内有足够功效，想证明某协变量效应不能用其他协变量混杂解释，或需要调整一个或多个协变量时
相关系数	描述两个连续变量之间的关联，且两个变量角色对称，难以区分结果变量和协变量时
优势比	衡量两个二元变量之间的关联，且希望该关联度量具有对称性时
倾向得分	从观察性数据中估计协变量（如治疗手段）的效应，需要调整可能影响协变量分配的预后因素时
分类与回归树	探索感兴趣的协变量与结果之间的关系，尤其是需要向没有统计背景的人展示数据关联结构时

3.2 不同方法的优缺点对比

方法	优点	缺点
简约预测器构建	可在一定程度上优化平均预测性能，适用于 p > n 情况	通常不能提供回归系数、个体风险评分的无偏估计，不能提供有效的置信区间和 p 值，会低估高风险对象风险、高估低风险对象风险
分层分析	结果直观，可增加对读者的可及性，提供比回归分析更多信息，能直观判断效应修饰	一般不适合作为主要分析方法，样本量不足时各层功效低，呈现时需避免误导读者
相关系数	可衡量两个连续变量的关联，调整混杂时可通过分层和偏相关实现	传统相关系数只能处理连续变量，理论和软件不如回归分析完善，系数大小难解释
优势比	具有对称性，可作为关联度量，调整后可得到偏优势比	估计偏优势比时两个模型估计值可能有差异，需合并估计值
倾向得分	只在预后或接受新治疗概率相同的患者间比较，公平有用，与回归分析结果相似	只能得到感兴趣协变量的效应估计，无法获得其他协变量效应信息，处理测量误差和不完整协变量数据问题不明确
分类与回归树	容易被无统计背景的人理解，可检查回归模型适用性，发现特殊患者群体	不能替代回归模型的正式分析，可能忽略小效应协变量，树结构不稳定

3.3 方法选择的决策流程

graph LR
    A[明确研究目的] --> B{是否构建预测器}
    B -- 是 --> C{协变量数量是否大于观测数量}
    C -- 是 --> D[简约预测器构建]
    C -- 否 --> E[考虑其他方法]
    B -- 否 --> F{是否关注协变量效应}
    F -- 是 --> G{是否有混杂因素}
    G -- 是 --> H{样本量是否足够}
    H -- 是 --> I[分层分析]
    H -- 否 --> J[回归分析或其他调整方法]
    G -- 否 --> K{协变量是何种类型}
    K -- 二元 --> L[优势比]
    K -- 连续 --> M{两个变量角色是否对称}
    M -- 是 --> N[相关系数]
    M -- 否 --> O[回归分析]
    F -- 否 --> P[探索数据关联结构]
    P --> Q[分类与回归树]

4. 实际应用建议

4.1 数据探索阶段

在数据探索阶段，分类与回归树是一个很好的工具。可以按照以下步骤进行：
1. 确定感兴趣的协变量和结果变量。
2. 对协变量进行适当的分组或处理，如将连续变量分为若干组。
3. 从不同协变量和分割点组合开始分割数据集，进行统计检验（如对数秩检验），选择最“重要”的分割。
4. 在子组中递归重复上述过程，直到满足停止条件（如最小 p 值大于某个阈值）。
5. 分析得到的树状图，了解不同协变量的“重要性”以及是否需要交互作用来描述数据。

4.2 效应分析阶段

• 存在混杂因素且样本量足够 ：可以采用分层分析。步骤如下：
  1. 确定可能的混杂因素和关注的协变量。
  2. 按混杂因素的值进行分层。
  3. 在每个层内分析关注协变量的效应，可使用 Kaplan - Meier 图等工具直观展示效应。
  4. 若需要，在每个层内报告考虑其余协变量的调整效应估计值和相应的 p 值。
  5. 通过相应的 p 值或置信区间判断效应修饰的统计显著性。
• 协变量为二元变量 ：可以使用优势比来衡量关联。步骤如下：
  1. 确定两个二元变量。
  2. 构建变量的联合分布表，计算优势比。
  3. 若需要调整其他变量的影响，考虑构建联合条件分布，定义偏优势比。
  4. 拟合逻辑回归模型估计偏优势比，处理两个模型估计值的差异，合并为一个估计值并给出置信区间和 p 值。
• 两个连续变量角色对称 ：使用相关系数。步骤如下：
  1. 确定两个连续变量。
  2. 若存在可能的混杂因素，按混杂因素分层，计算各层内的相关性。
  3. 若假设偏相关不依赖于混杂因素的值，使用统计软件（如 Stata 中的 pcorr 命令）估计偏相关。

4.3 预测阶段

若需要构建预测器，尤其是在 p > n 情况下，可考虑简约预测器构建方法。但要注意其局限性，在使用过程中：
1. 关注优化平均预测性能的指标，如均方根误差或 ROC 曲线下面积。
2. 意识到该方法可能不能提供无偏估计和有效置信区间、p 值等问题。
3. 参考相关资料，了解不同简约预测器构建方法的特点。

4.4 观察性数据中协变量效应估计阶段

当从观察性数据中估计协变量（如治疗手段）的效应时，可使用倾向得分方法。步骤如下：
1. 确定协变量（如治疗指标）和结果变量。
2. 找出所有可能影响协变量分配的预后因素。
3. 拟合以协变量为结果变量、预后因素为协变量的逻辑回归模型，得到估计的倾向得分。
4. 将倾向得分作为协变量纳入回归模型，或使用倾向得分进行匹配，然后进行进一步分析。

在实际应用中，需要根据具体的研究问题、数据特点和分析目的，综合考虑各种方法的优缺点，选择最合适的方法进行数据分析。同时，要注意每种方法的局限性，避免得出不准确的结论。