【基于规则】iqr

已于 2024-11-25 15:44:57 修改
阅读量108 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习
于 2024-11-25 15:41:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41413211/article/details/144029312
版权

IQR 方法背景

  • 四分位数的计算并不依赖于特定的概率分布假设。它是一种非参数方法，适用于任何数据集的分析，无论其分布类型。

  1. 四分位数（Quartiles）：

    • Q1（下四分位数）是将数据集分为四部分的第一个分位数，即将数据排序后 25% 的数据位于这个值之下。
    • Q3（上四分位数）是将数据集分为四部分的第三个分位数，即将数据排序后 75% 的数据位于这个值之下。
    • IQR（四分位数间距）定义为 QR=Q3−Q1，代表中间 50% 数据的范围。

  2. 异常值的界定：

    • 为了确定哪些点被视为异常值，常用的规则是：
      • 上限（Upper Bound） = Q3+1.5×IQR
      • 下限（Lower Bound） = Q1−1.5×IQR

代码实现

</

了解本专栏 订阅专栏 解锁全文
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】3.3 异常值识别（Z-score法/IQR法/业务规则法）
kngines
05-04 1209
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】3.3 异常值识别（Z-score法/IQR法/业务规则法）
基于图神经网络的药物靶点相互作用预测
AI天才研究院
10-20 994
基于图神经网络的药物-靶点相互作用预测 1.1 书籍背景 随着生物信息学和药物研发的快速发展，药物-靶点相互作用预测（Drug-Target Interaction Prediction）已成为药物设计领域的关键任务之一。然而，传统的药物-靶点相互作用预测方法通常基于统计学模型或机
机器学习笔记三-检测异常值
08-20 986
不同的方法适用于不同类型的数据和异常值检测场景。在实际应用中，通常结合多种方法进行异常值检测，并根据业务需求和数据特点采取适当的处理策略。
四分位数的应用——基于收入实例的箱体图与离群值规则
qq_40433634的博客
09-24 5584
内容导入： 大家好，这里是每天分析一点点。本期给大家介绍的是数据分析基础系列，主要给大家介绍的是四分位数的原理与应用，四分位数的计算方式，并基于四分位数，画出箱体图，简要介绍如何通过箱体图来检测数据离群值。结合学习成绩与收入的案例分析，内容深入浅出，案例贴合实际，文章内容适合数据分析小白。下期给大家介绍集中趋势的应用。欢迎大家关注。 概念介绍： 四分位数是指在统计学中把所有数值由小到大排列并分成四等份，处于三个分割点位置的数值。多应用于统计学中的箱线图绘制。它是一组数据排序后处于25%和75%位置上的
量化投资策略：基于财务健康的企业筛选模型
AI天才研究院
05-01 1117
在资本市场中，企业财务健康状况是价值投资的核心依据。传统财务分析依赖主观判断与经验法则，存在效率低、一致性差等问题。本文旨在构建一套标准化、可量化的财务健康筛选模型，通过数学建模与机器学习技术，将财务数据转化为可计算的健康指数，实现对上市公司的自动化评估。四大财务健康维度（盈利、偿债、运营、成长）的20+核心指标定义与计算多维度指标的标准化处理与权重分配方法从单变量模型（Z-score）到多变量模型（因子分析、逻辑回归）的算法演进完整的量化筛选流程：数据获取→特征工程→模型构建→策略应用。
基于深度学习的时间序列水质COD预测
m0_62844645的博客
08-12 1040
由以上数据实验分析，决定将出水总磷，和出水PH特征进行删除。
数据处理和分析之关联规则学习：Eclat：数据转换与规范化
2401_87715305的博客
10-07 924
Eclat算法，全称为，是一种用于频繁项集挖掘的算法，特别适用于市场篮子分析等场景。与Apriori算法相比，Eclat算法采用了一种更直接的搜索策略，通过垂直数据结构和深度优先遍历来提高效率。
异常检测（2）—基于统计学的方法
Mrs.King的博客
01-13 879
1.基于统计学的方法: 概念：假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。即，利用统计学方法建立一个模型，然后考虑数据点有多大概率符合这个模型。概率越小，为异常点的可能性越大。 参数方法:假定数据符合某一参数的分布，该分布的概率密度给出f(x,θ)f(x,\theta)f(x,θ),将数据点带入到概率密度公式，得出该数据点符合该分布的概率，概率越小，越不符合该分布，是异常点的可能性就越大。 example：假定输入数据集,数据集中的样本符合正态分布 ，根据样本数据可以求出参数 参数一
MATLAB实现基于概率神经网络的变压器故障诊断
weixin_35752645的博客
09-17 1153
本文还有配套的精品资源，点击获取 简介：本案例深入探索了MATLAB中概率神经网络（PNN）在变压器故障诊断中的应用，涵盖了PNN的工作原理、网络结构设计、数据预处理、模型创建、训练、交叉验证和测试等步骤。介绍了如何通过分析变压器的电气、机械和热参数来识别潜在故障，并使用PNN进行分类预测。此外，指出了PNN在处理大数据集时的效率问题，并强调了其在工程应用中的实际价值。 ...
OpenGAN：基于开放数据生成的开放集识别
LJ1147517021的博客
05-26 1865
这次学习的OpenGAN主要学习一个思路，跳出传统GAN对于判断真假的识别到判断是已知种类还是未知种类。重点内容不在于代码而是思路，会简要给出一个设计的代码。
植被监测新范式！Python驱动机器学习反演NDVI/LAI关键技术解析
aishangyanxiu的博客
05-28 435
在全球气候变化与生态环境监测的重要需求下，植被参数遥感反演作为定量评估植被生理状态、结构特征及生态功能的核心技术，正面临数据复杂度提升、模型精度要求高、多源异构数据融合等挑战。AI 凭借强大的非线性拟合能力、数据特征自动提取优势及跨模态信息融合潜力，能够高效处理遥感数据中的噪声与不确定性，显著提升植被参数（如叶面积指数、叶绿素含量、植被覆盖度等）反演的精度与鲁棒性。5、AI的提问框架【提示词、指令】、AI的应用妙招【指令优化】5、植被参数SVR遥感反演模型【调整代码、构建反演模型】
同源“平滑思想”的问题解法：正则化与拉普拉斯平滑
qq_32205577的博客
05-28 1243
正则化与拉普拉斯平滑，一个是机器学习的“参数约束工具”，一个是概率模型的“分布修正技术”，看似分属不同领域，实则共享“平滑思想”的内核——通过调整目标函数或统计量，对极端情况进行缓和，使模型或分布更接近真实规律。
【NATURE氮化镓】GaN超晶格多沟道场效应晶体管的“闩锁效应”
荷塘阅色
05-29 207
2025年X月X日，布里斯托大学的Akhil S. Kumar等人在《Nature Electronics》期刊发表了r-文章，基于AlGaN/GaN超晶格多通道场效应晶体管的研究，通过实验测量、模拟和电致发光成像，首次在GaN基多通道晶体管中观察到类似硅基器件的“闩锁效应”，即在高于14V的漏极偏压下，漏极电流会从“关断态”急剧变化到“高电流通态”，并在低于60 mV/decade的阈值电压范围内出现极陡峭的亚阈值斜率。
【课堂笔记】生成对抗网络 Generative Adversarial Network（GAN）
最新发布
qq_40432278的博客
06-01 524
这样能够生成与真实数据分布相似的合成数据，用于数据增强；同时通过生成器和判别器的对抗训练，生成器学习到真实数据的概率分布，生成的样本更加逼真、细节丰富。一方面，许多机器学习任务需要大量标注数据，但真实数据可能稀缺或昂贵（如医学影像、稀有事件数据）。在上述推导中，对随机分布进行了期望积分，但实际操作过程中直接计算上述积分是不可行的，我们会采用。另一方面，传统生成模型（如变分自编码器VAE）生成的样本往往模糊或缺乏多样性，难以。（通常是正态或均匀分布），输出生成的假数据。这两个神经网络是对抗性的，生成器。
线性回归中标准方程法求逆失败的解法：正则化
qq_32205577的博客
05-28 1126
当设计矩阵XTXX^T XXTX不可逆时，标准方程法因无法计算逆矩阵而失效。正则化通过向目标函数添加惩罚项，将原矩阵XTXX^T XXTX替换为XTXλIXTXλI，使其重新可逆，同时控制模型复杂度，提升泛化能力。对于线性回归任务，掌握正则化方法是解决“矩阵不可逆”问题的关键技术。实际应用中，需根据数据特点选择L1或L2正则化，并通过交叉验证调整正则化系数，确保模型在避免过拟合的同时保持良好的预测能力。
PyTorch实战——基于生成对抗网络生成服饰图像
盼小辉丶的博客
06-01 575
我们已经学习了生成对抗网络 (Generative Adversarial Network, GAN) 的工作原理，接下来，将学习如何将其应用于生成其他形式的内容。在本节中，介绍使用 GAN 创建灰度图像，包括外套、衬衫、凉鞋等服饰，学习在设计生成器网络时如何镜像判别器网络。在本节中，生成器和判别器网络使用全连接层，全连接层的每个神经元都与前一层和后一层的所有神经元相连接。
【SCI论文写作】机器学习与时间序列医疗健康预测
u012133341的博客
05-29 63
【摘要】机器学习在医疗健康时间序列预测中展现出巨大潜力，可应用于疾病进展预测、临床恶化预警和住院时长优化等领域。报告详细阐述了从数据获取到模型部署的全流程技术实现，重点分析了医疗时间序列数据的不规则性、高维性和信息性缺失等挑战，并提出了针对性预处理方法。在模型选择上，深度学习（LSTM、Transformer等）因其捕捉复杂时间依赖性的能力成为主流方案。报告特别强调了临床可解释性和伦理合规的重要性，指出成功系统需平衡技术性能与临床实用性。通过人机协作模式，这些预测模型有望提升医疗决策质量，但需解决数据质量、
机器学习----决策树
Xyz_Overlord的博客
06-01 678
fromimportfromimportplot_tree决策树是一种树形结构，树中每个内部节点表示一个特征上的判断，每个分支代表一个判断结果的输出，每个叶子节点代表一种分类结果。决策树的建立过程（三要素）：1.特征选择：选择较强分类能力的特征；2.决策树的生成：根据选择的特征生成决策树；3.决策树的剪枝：决策树也容易过拟合，采用剪枝的方法缓解过拟合。
AI赋能金融风控：基于机器学习的智能欺诈检测系统实战教程
m0_72958694的博客
05-28 546
在数字化转型浪潮中，金融欺诈手段呈现智能化、隐蔽化趋势。传统规则引擎已难以应对复杂多变的欺诈模式，而机器学习技术通过自动学习数据特征，正在重塑金融风控体系。本文将基于Python生态，以信用卡欺诈检测为切入点，完整展示从数据预处理到模型部署的全流程解决方案，重点解析Scikit-learn与XGBoost在异常检测中的协同应用，最终构建可实时预警的智能风控系统。
数据清洗的常见规则
04-18
<think>好的，用户想了解数据清洗的常见规则和方法，以及最佳实践。首先，我需要回忆一下之前关于数据清洗的知识，并结合提供的引用内容来组织回答。用户可能是在处理数据科学项目时遇到了数据质量问题，需要知道如何系统地清洗数据。 首先，数据清洗的核心规则通常包括处理缺失值、纠正格式错误、处理异常值、去重和验证数据一致性。这些都是常见的问题点。例如，缺失值可以用均值、中位数填充，或者删除记录，具体方法取决于数据情境。格式错误可能需要统一日期、字符串格式等。异常值检测可以用统计学方法，比如Z-score或IQR。去重方面，可能需要识别重复记录并合并或删除。数据一致性则涉及外键约束或业务规则验证。 接下来要考虑的是最佳实践。根据引用[1]和[2]，最佳实践可能包括制定清洗策略、自动化流程、版本控制、质量评估和持续监控。用户可能需要知道如何规划整个清洗流程，而不仅仅是单个步骤。比如，自动化工具和脚本能提高效率，版本控制帮助回溯，质量评估确保清洗后的数据符合标准。 然后要结合用户提供的引用内容。引用[1]提到数据清洗的核心概念和数学模型，可能需要提到一些算法，比如聚类去重或正则表达式匹配。引用[2]给出了一些Java实现的例子，但用户可能更关心通用方法而非具体语言。所以需要将引用中的信息抽象出来，比如数据质量管理流程和常见算法的选择。 用户可能还想知道具体的操作步骤，比如先处理缺失值还是先处理格式错误。需要建议一个流程，比如先处理格式错误，再处理缺失值，然后是异常值和去重，最后验证一致性。同时，要强调数据备份的重要性，以防清洗过程中出错。 此外，用户的问题可能隐含了对实际案例或工具的需求，但根据问题描述，主要需要规则和方法。不过，可以简要提到常用工具如Pandas、OpenRefine作为参考，但不需要深入代码示例，除非用户特别要求。不过用户之前的问题提到了代码示例，比如Python的快速排序，但这里的数据清洗可能需要不同的例子，比如Pandas处理缺失值的代码片段。 最后，需要生成相关问题，引导用户深入探讨。比如，如何处理高缺失率的数据，或自动化清洗工具的选择。这些问题应该围绕用户可能的后续疑问展开，帮助他们进一步学习。 总结回答结构：先分点列出常见规则，每个规则下给出处理方法和示例，然后列出最佳实践，最后生成相关问题。确保使用正确的中文术语，并引用提供的文献，尽管引用内容可能不完全相关，但需自然融入。</think>### 数据清洗常见规则及方法 #### 一、常见规则与处理方法 1. **缺失值处理** - **规则**：识别并填充、删除或标记缺失数据 - **方法**： - 删除记录：直接删除缺失率高的行或列（适用于缺失量少且不影响分析的情况） - 填充默认值：均值、中位数、众数（数值型）或固定值（如"Unknown"） - 预测填充：使用回归、KNN等算法预测缺失值[^1] - 示例： ```python # 使用Pandas填充缺失值 df['age'].fillna(df['age'].mean(), inplace=True) ``` 2. **格式标准化** - **规则**：统一日期、数值、字符串等格式 - **方法**： - 正则表达式匹配修正（如电话号码、邮箱格式） - 类型转换（字符串转日期、数值去逗号等） - 示例：将"2023/12/01"统一为"2023-12-01" 3. **异常值检测与处理** - **规则**：识别并修正超出合理范围的值 - **方法**： - 统计学方法：Z-score（$|Z| > 3$为异常）、IQR（超出$Q1 - 1.5IQR$或$Q3 + 1.5IQR$） - 业务规则过滤（如年龄为负数无效） - 示例： $$ \text{IQR} = Q3 - Q1 \\ \text{合理范围} = [Q1 - 1.5 \times \text{IQR}, Q3 + 1.5 \times \text{IQR}] $$ 4. **数据去重** - **规则**：合并或删除重复记录 - **方法**： - 精确匹配：完全相同的行 - 模糊匹配：基于关键字段（如姓名+地址）使用相似度算法（Levenshtein距离）[^2] - 示例：合并同一用户的多次注册记录 5. **一致性验证** - **规则**：确保数据符合业务逻辑或外部约束 - **方法**： - 外键约束检查（如订单表中的用户ID必须在用户表中存在） - 逻辑验证（如结束日期必须晚于开始日期） --- #### 二、最佳实践 1. **分阶段清洗策略** - 按优先级分步处理：格式错误 → 缺失值 → 异常值 → 去重 → 一致性验证[^1] 2. **自动化流程** - 使用工具（如Apache NiFi、Python Pandas）构建可复用的清洗流水线 - 示例： ```python # 自动化清洗流水线示例 def clean_data(df): df = format_standardize(df) df = handle_missing_values(df) return detect_outliers(df) ``` 3. **版本控制与备份** - 保留原始数据副本，记录每一步清洗操作（如Git记录或日志文件） 4. **质量评估指标** - 定义量化指标：缺失率下降比例、异常值占比、去重后记录数等 - 公式示例： $$ \text{清洗有效率} = \frac{\text{修正记录数}}{\text{总问题记录数}} \times 100\% $$ 5. **持续监控** - 对动态数据源设置定期清洗任务，防止质量问题累积[^2] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坠金

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值