算法金 | 统计学的回归和机器学习中的回归有什么差别？

大侠幸会，在下全网同名「算法金」 0 基础转 AI 上岸，多个算法赛 Top 「日更万日，让更多人享受智能乐趣」

统计学中的回归

1. 目标：

• 主要用于解释和推断自变量（independent variables）和因变量（dependent variables）之间的关系。
• 强调模型的解释性，了解各个自变量对因变量的影响。
• 假设：
• 假设数据符合特定统计假设，如正态分布、独立性和同方差性。
• 需要满足严格的模型假设。
• 模型复杂性：
• 通常使用简单模型，如线性回归。
• 模型形式固定，主要是线性或加性模型。
• 数据量：
• 通常处理较小的数据集。
• 评估方法：
• 强调参数的显著性检验（significance tests）。
• 使用 R 平方（(R^2)）和 P 值（P-value）等统计指标。

机器学习中的回归

1. 目标：

• 主要用于预测，关注模型的预测性能。
• 更关注模型的泛化能力（generalization ability），即在新数据上的表现。
• 假设：
• 对数据分布和模型形式的假设较少。
• 灵活性更大，不需要满足严格的统计假设。
• 模型复杂性：
• 使用复杂模型，如决策树回归（decision tree regression）、随机森林回归（random forest regression）、支持向量回归（su