qiy_icbc的博客

本文探讨了机器学习中样本不平衡问题的解决方法及其对不同算法的影响。首先分析了"对类间分布敏感"的算法（如逻辑回归、SVM、GBDT等），指出这些算法在样本不平衡时会偏向多数类，导致少数类识别效果差。解决方法包括调整类间分布（过采样/欠采样）或调整损失权重。 其次讨论了过采样的有效性，强调过采样不会让以分布为前提的算法必然失效，关键在于选择不破坏类内特征分布的过采样方法（如SMOTE），并严格区分训练集和测试集。对于极度敏感的算法（如朴素贝叶斯），建议优先使用重加权代替过采样。 最后比较了

最近发现一件很有趣的知识：PSI属于散度家族，其核心原理是通过分箱后的KL散度衡量两个分布的差异，是散度理论在变量分布稳定性分析中的具体应用。它利用对数差异和加权求和，量化实际分布与预期分布的漂移程度，是模型监控中检测数据分布变化的重要工具。

多层感知机（Multilayer Perceptron, MLP）被归类为**非参数模型**（或更准确地说，**半参数模型**或**灵活参数模型**），这一分类的核心在于统计学习中对“参数模型”和“非参数模型”的定义差异，而非简单取决于是否存在可学习的权重参数。

在二分类问题中，已知预测概率（如逻辑回归、神经网络输出的概率值）时，阈值的选择直接影响分类结果（正/负样本判定）。到甲方做POC时，作为外部的技术人员并不懂它的业务，这时需要先从理论上给出阈值。ROC曲线上**切线与对角线（斜率1）平行的点**，是**约登指数最大的点**，也是几何上离对角线最远的“拐点”（切点）。

关系网络特征是以图的方式表达，而模型算法的输入是变量表达（离散的或连续的），那么，图谱表达的方式是否要转化为特征向量才能作为模型算法的输入?那又如何转化?将关系网络（图谱）转化为模型算法可处理的输入（如特征向量）通常是必要的，因为大多数传统机器学习模型（如线性回归、神经网络）无法直接处理图结构数据。

机器学习中的特征向量也是由一组有序的数值组成，例如在一个预测某个人是否会购买某商品的模型中，特征向量可能是[年龄, 收入, 消费频率]等有序的数值组合，每个元素代表了被描述对象的一个特征，这与数学中用向量表示一个点或一个物理量等在本质上是一致的，都是通过一组有序数值来进行量化表示。但向量空间并不强制要求坐标轴为正交，只要满足向量空间的八条公理（包括加法交换律、加法结合律、存在零向量、存在负向量、数乘结合律、数乘分配律等），就可以定义为向量空间，坐标轴可以是任意线性无关的向量组。

**原始数据不是特征向量**，需通过特征工程（清洗、转换、提取）生成模型可输入的数值型特征向量。 **特征维度无需强制正交**，仅在线性模型或降维场景下需要考虑正交性；对于LightGBM等树模型，特征相关性不影响模型效果，重点在于特征的预测能力，而非数学正交性。

在大模型训练中，训练数据中重复出现错误或偏见信息，导致模型生成时倾向于这些内容。在大模型训练语境下，“谎言重复一千遍就是真理”这句话可从**数据分布、统计学习机制、认知偏差映射**三个维度理解，本质上反映了训练数据特性对模型输出的决定性影响

GRU（门控循环单元）、LSTM（长短期记忆网络）、RNN（循环神经网络）均为处理序列数据的神经网络模型，它们之间存在着紧密的联系与明显的差异。

XGBoost是GBDT的“工程化增强版”，在保持Boosting核心思想的同时，通过数学优化（二阶导数、正则化）和工程优化（并行化、分布式）大幅提升了模型的效率和效果，成为当前结构化数据建模的首选工具。GBDT则作为基础算法，适合学习Boosting原理或小规模场景快速验证。实际应用中，XGBoost凭借其全面优势，已在绝大多数场景中取代传统GBDT。

SVM（支持向量机）算法是用于解决二分类问题的，它在样本空间（高维空间）中找一个最优超平面，使得两类数据点中离超平面最近的点（称为支持向量）到超平面的距离最大。对于极少数“坏样本”的二分类场景，我们可以换个思路：将所有样本视为一类（而不是二类），而将极少数“坏样本”视为这一类的异常。这样，用于二分类的SVM就可以改造为用于一分类的One-Class SVM和SVDD。

*Lift**可评估规则和模型的效果，也可用于特征的分箱：通过特征分箱并计算每箱的Lift值，是一种常用的特征评价和筛选方法。

机器学习中的特征工程是提升模型性能的关键环节，根据特征的生成方式和复杂度，可将其分为以下三个层次：从初级到高级，包括原始特征、业务公式生成的特征，以及算法生成的特征。

处理样本不平衡问题的方法主要分为**数据层面**和**算法层面**两类

特征工程的核心目标是**通过数据预处理、特征构造和优化，提升模型的性能、可解释性和泛化能力**。

SHAP（Shapley Additive exPlanations）和IV值（Information Value，信息价值）都是机器学习中用于评估特征对结果贡献的指标，但它们在原理、特点和应用场景等方面存在一些区别

WOE编码是业务逻辑与统计建模的结合，适合强业务导向的场景； One-Hot编码是数据驱动的特征工程，适合追求模型性能的场景。

分箱（Binning）是将连续型或离散型特征转化为区间型变量的过程，其核心目标是提升模型效果和解释性，

有一对是用面积AUC（Area Under the Curve）做评价的：**ROC AUC**与**PR AUC**本文我们对**ROC AUC**与**PR AUC**进行多维度对比分析

评分卡模型是一种广泛应用于信用评分、风险管理、市场营销等领域的统计模型。它通过将客户的各项特征（如年龄、收入、信用历史等）转化为分数，最终汇总为一个总评分，用于评估客户的信用风险或其他行为倾向。评分卡模型（Scorecard Model）及其特征工程中常用到：分箱（Binning）和证据权重WOE（Weight of Evidence）。

特征变量的信息值（Information Value, IV）及其它评估一个特征变量的重要性和区分能力的指标，常用于特征工程，帮助判断某个特征是否适合用于模型构建。

**RFM分析技术**是一种用于客户价值分析的营销工具，通过评估客户的购买行为来识别最有价值的客户。RFM代表三个关键指标。

核密度估计（Kernel Density Estimation, KDE）是一种非参数统计方法，用于估计随机变量的概率密度函数。它通过将每个数据点周围的核函数叠加，生成平滑的密度曲线。

：**量子近似优化算法（QAOA）可以在量子模拟器上运行**，即使没有实际的量子计算机硬件。量子模拟器是在经典计算机上运行的软件工具，能够模拟量子计算机的行为，包括量子比特的状态演化、量子门操作和量子测量等。

Spearman 秩相关系数是一种强大的工具，适用于衡量两个变量之间的单调关系，尤其在数据不满足线性或正态分布假设时。它的应用场景广泛，包括模型验证、性能评估、数据一致性分析、社会科学研究和生物医学研究等。通过使用 Spearman 秩相关系数，可以更全面地理解变量之间的关系，并为决策提供支持

- **方差**：用于衡量单组数据的离散程度，反映数据点与均值的偏离。- **均方差**：用于衡量预测值与实际值的差异，反映预测模型的准确性。

在高考成绩处理中，原始分通常需要通过一定的转换方法得到汇总分（最终成绩），以便更公平地比较和评价考生的成绩，本文谈到的公式可用于指标评价

“Declarative data-parallel operators”与“MapReduce”在数据处理和并行计算领域具有不同的特点和适用场景。它们之间的关系是相辅相成、相互补充的，而不是相互替代的。在实际应用中，应根据具体的需求和场景选择合适的工具或方法。

递推式与迭代式各自具有独特的特点和适用场景，在解决问题时需要根据具体问题选择合适的算法思想。

SOTA不仅仅是指单一的技术或算法，而是指在某一领域内，经过实践验证，被认为是最有效、最先进的解决方案。PPO旨在改进和简化以前的策略梯度算法，如TRPO（Trust Region Policy Optimization，信任域策略优化），它通过几个关键的技术创新提高了训练的稳定性和效率。PPO是一种用于训练代理的“on-policy”算法，它直接学习和更新当前策略，而不是从过去的经验中学习。ReFramework 是机器人流程自动化（RPA）领域中的一个常用框架

BSP模型把并行计算抽象为多个模块，包括处理器集合、发送消息的全局通讯网络、各处理器间的路障同步机制。其并行计算的基本执行单元是超级步（Super Step）。一个BSP程序包含多个超级步，每个超级步由本地计算、全局通信和路障同步三个阶段组成。这三个阶段是严格串行的，即所有处理机本地计算结束后统一进行通讯过程，最后执行同步阶段。Subgraph-centric模型关注图中的子图结构，并以子图作为图计算的基本单位。这种模型允许开发者以子图为中心进行编程，从而更直观地处理和分析图数据。文中推荐了一些学习书藉。

联合概率可分解为条件概率的连乘，若每个因子都是同底的指数形式，则可转化为指数相加，由此引导我们对模型提出有利于计算的假设。通过团的分解及团上的势函数定义概率，而团的势可以定义成同底的指数形式。

周志华西瓜书《机器学习》习题提示——第16章

周志华西瓜书《机器学习》习题提示——第15章

周志华西瓜书《机器学习》习题提示——第14章

周志华西瓜书《机器学习》习题提示——第13章

周志华西瓜书《机器学习》习题提示——第12章

周志华西瓜书《机器学习》习题提示——第11章

周志华西瓜书《机器学习》习题提示——第10章

周志华西瓜书《机器学习》习题提示——第9章