15、机器学习中的回归、分类与自然语言处理技术

机器学习中的回归、分类与自然语言处理技术

1. 多元线性回归（Multiple Linear Regression）

简单线性回归（SLR）适用于只有一个自变量和一个因变量的数据集。它在二维的 XY 空间中绘制数据点，根据数据集绘制趋势线，最后通过选择最佳拟合线进行预测。然而，当因变量的数量超过一个时，就需要用到多元线性回归（MLR）。MLR 会考虑多个自变量，并将它们绘制在 n 维空间中以进行预测。

以一个包含 50 家初创公司信息的数据集为例，数据包含了公司在研发、行政、营销等方面的支出，以及公司所在的州和各业务板块的净利润。显然，利润是因变量，其他因素是自变量。从投资者的角度来看，我们希望分析各种参数，预测应该在哪些业务板块和哪些州投入更多资金以实现利润最大化。

在处理多个自变量时，识别哪些变量真正有用、哪些无用非常重要。为了提高模型的准确性，需要消除对因变量影响极小的变量。消除这类变量有五种方法，其中最可靠的是反向消除法（Backward Elimination）。

反向消除法的工作原理基于显著性水平和 P 值。显著性水平是一个最小阈值，用于表示被检验的变量对因变量或最终预测至关重要。P 值是确定因变量和自变量之间关系是否随机的概率。例如，如果某个变量的计算 P 值为 0.9，这意味着该自变量与最终因变量之间的关系有 90% 是随机的，对该自变量的任何改变可能不会直接影响因变量；而如果另一个变量的 P 值为 0.1，则表明该变量与因变量之间的关系不是随机的，对该变量的改变会直接影响输出。

以下是反向消除法的代码实现示例：

# 假设 X 是自变量矩阵
X[:,[