weixin_50961821的博客

在机器学习中，过拟合（Overfitting）是指模型在训练数据上表现非常好（例如，训练误差低或准确率高），但在新数据或未见过的测试数据上表现显著下降的现象。本质上，模型“过度记忆”了训练数据中的噪声和特定模式，而非学习数据的真实规律（即泛化能力差）。这导致模型无法有效适应新场景。例如，在回归问题中，过拟合模型可能完美拟合训练点，但在新数据上预测波动大。数学上，过拟合通常表现为偏差-方差权衡中的高方差问题。定义一个损失函数其中 θ为模型参数。

数据理解∩\cap∩算法特性∩\cap∩计算资源理论分析∪\cup∪实验验证max⁡泛化性能s.t.资源消耗≤预算上限\max \text{泛化性能} \\\text{s.t.} \quad \text{资源消耗} \leq \text{预算上限}max泛化性能s.t.资源消耗≤预算上限。

什么是机器学习（ML）？与传统编程的核心区别是什么？机器学习是一种通过数据训练模型以进行预测或决策的技术。与传统编程不同，机器学习不需要显式编写规则，而是通过数据自动学习模式。传统编程依赖于开发者明确地定义规则和逻辑，而机器学习则通过算法从数据中提取模式和规律。机器学习的核心在于其自适应性和预测能力，能够在数据变化时自动调整模型。它广泛应用于分类、回归、聚类等任务，适用于需要处理大量数据和复杂模式的场景。机器学习的成功依赖于数据的质量和数量，以及算法的选择和优化。深度学习（DL）是机器学习的子集吗？

从17世纪牛顿时代的数值解法，到20世纪最优控制理论的发展，直至现代机器学习对优化算法的特殊需求，梯度下降算法在数学优化史上占据重要地位。1947年Frank Rosenblatt在感知机研究中首次系统应用梯度下降思想。

特征选择是指在每个节点选择一个最优特征进行数据分裂。决策树通过计算每个特征的分裂准则（如信息增益、基尼不纯度）来决定使用哪个特征进行分裂。过拟合是指模型在训练集上表现良好，但在测试集上表现不佳。预剪枝：在树生成过程中提前停止分裂。后剪枝：在树生成后，通过移除不必要的节点来简化树结构。

XGBoost，全称为 eXtreme Gradient Boosting，是一种基于决策树的集成学习方法。它通过构建多个弱学习器（通常是决策树），并逐步优化模型的预测能力。XGBoost 的核心思想是通过迭代地训练新模型来纠正前一模型的错误，从而提高整体预测性能。XGBoost 支持自定义目标函数，适用于特定的业务需求。

评分卡是金融领域广泛应用的量化决策工具，通过将复杂业务规则转化为直观的分数体系，帮助机构实现自动化决策。以信用评分为例，其核心公式为：总评分 = 基础分 + ∑(特征分箱对应分值)