墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
3.7k累计阅读
3.8k平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
在大规模数据集中，由于噪声、扰动、采样过程误差等等原因，会出现一些数据点偏移整个数据集。假想整个数据集由某未知分布生成，则这些点可以看做该未知分布下的噪声采样。在可视化情况下，这些点显著偏移了数据集的点群，故称为离群点。而众多机器学习算法对数据分布都存在着一定的假设或期待数据集较为“规整”。因此在数据挖掘中，常需要在预处理中去除该类点，让算法能更好地发现“正常”数据间存在的关系。Tukey Method是一类常用方法。参考链接如下：
Highlighting Outliers in your Data with the Tukey Method – Bacon Bits
IQR异常检测原理与工程实践：从四分位距到动态阈值
异常值检测是数据质量保障的核心环节，其本质并非简单剔除离群点，而是识别数据中违背业务逻辑或统计规律的可疑观测。IQR（四分位距）法作为鲁棒性强、无需分布假设、可解释性高的经典方法，广泛应用于金融风控、IoT监控和电商分析等场景。它基于顺序统计量计算Q1与Q3，以1.5倍IQR为边界判定异常，在正态与偏态分布下均保持稳定覆盖率。相比Z-Score等依赖均值和标准差的方法，IQR天然抗污染、免假设、易审计，特别适合探索性分析与自动化清洗流水线。本文深入解析IQR的数学依据、小样本修正、跨平台一致性实现及动态滚动
利用图基Tukey method检测数据集中的异常值
在数据集中如果某一个观察值不寻常地大于或者小于该数据集中的其他数据，我们则称之为疑似异常值。疑似异常值的存在，会对随后的计算结果产生不适当的影响，检测疑似异常值并加以适当的处理是十分必要的。 一种经典的计算数据集中疑似异常值的方法是Tukey method。该方法先计算出数据集的四分之一分位数（Q1）和四分之三分位数（Q3），从而计算出四分位数间距（IQR），然后将小于Q1 - 1.5IQR或者大于Q3 + 1.5IQR的数据点当做是疑似异常值。我们可以借助这种方法在DataFrame中检测异常值。代码如下
盒须图不是画个箱子：五数概括与IQR异常值检测原理
盒须图是单变量分布诊断的核心统计图形，其本质基于五数概括（最小值、Q1、中位数、Q3、最大值）压缩分布形态。它通过四分位距（IQR）而非标准差界定异常值，因IQR对极端值鲁棒，能更真实反映中间50%数据的离散程度。该方法源于Tukey的稳健统计思想，在金融风控、医疗监测、IoT设备预警等场景中，可快速识别偏态、平台效应与分布漂移。当数据存在右偏、大量零值或长尾时，IQR阈值需结合业务调整（如whis=2.0或百分位截断），避免误判。本文以真实订单与心率数据为例，解析IQR计算差异、异常值判定逻辑及matpl
葡萄酒数据集_如何使用数据科学来理解什么使葡萄酒味道更好
葡萄酒数据集Data Science. It’s been touted as the sexiest job of the 21st century. Everyone — from companies to individuals — is trying to understand it and adopt it. And if you’re a programmer, you most de...
方差失效时的数据波动分析：5种稳健替代方案
数据离散程度是描述性统计的核心概念，其本质反映的是观测值围绕中心趋势的变异强度。传统上，方差与标准差作为二阶矩度量，依赖正态分布假设，在偏态、多峰或含离群值的真实业务数据中极易失真。当标准差数值远超均值、或IQR与标准差量级悬殊时，表明数据已进入‘方差失语区’。此时，更鲁棒的变异度量如四分位距（IQR）、中位数绝对偏差（MAD）、核密度估计（KDE）等，能从分布形状、相对波动、亚群结构等多维度还原真实波动特征。这些方法广泛应用于用户行为分析、金融风险建模、AB测试诊断及供应链波动监控等场景，是数据分析师构建
单变量异常检测：为什么3倍标准差会失效？鲁棒统计实战指南
单变量异常检测是数据质量管控与业务风控的基础技术，其核心在于识别偏离主体分布的离群点。传统方法依赖均值与标准差，但二者对异常值高度敏感，导致‘异常值拉高阈值、进而隐藏自身’的逻辑悖论。鲁棒统计学通过中位数（Median）和中位数绝对偏差（MAD）构建抗干扰的位置与尺度估计器，从根本上规避该问题。这种不依赖正态假设、适应偏斜与长尾分布的特性，使其在订单金额、响应时长、住院天数等典型业务场景中具备更强的工程鲁棒性与业务可解释性。本文聚焦Data Analysis中的单变量异常识别实践，详解鲁棒z-score与调
R语言箱线图实战：五数概括、离群点识别与多组分布对比
箱线图是描述统计学中基于五数概括（最小值、下四分位数、中位数、上四分位数、最大值）的稳健可视化工具，其核心原理依托IQR（四分位距）和Tukey离群点判定法则，在非正态、小样本、多类别场景下显著优于直方图。它不依赖分布假设，天然支持类别型变量（x）与连续型变量（y）的跨组分布比较，技术价值在于快速暴露数据偏态、异常波动与组间差异。典型应用场景包括用户行为分析、医疗指标监控、房价/犯罪率区域对比等。本文聚焦R语言boxplot()函数的工程化实践，深入解析varwidth、log='y'、las等关键参数的底
箱线图、小提琴图、山脊图：数据分布可视化三剑客实战指南
数据分布可视化是探索性数据分析（EDA）的核心能力，其本质是揭示数据的集中趋势、离散程度与形态特征。箱线图基于五数概括稳健刻画分布骨架，小提琴图融合核密度估计还原分布‘厚度’，山脊图则通过堆叠实现多组有序分布的动态对比。这三类图共同解决了异常值识别、多组分布比较、时序漂移监测及大样本稳定呈现等高频工程问题。相比直方图或简单统计量，它们在保留统计鲁棒性的同时增强可解释性，特别适用于用户行为分析、A/B测试评估与业务指标监控等真实场景。本文聚焦Data分布诊断这一基础任务，系统拆解三类图的原理差异、适用边界与P
离群点识别与业务归因：从数据异常到业务洞察的完整工作流
离群点识别是数据分析的基础能力，其本质并非数学意义上的数值偏离，而是业务语义在数据中的断裂信号。理解这一概念需回归统计原理的鲁棒性（如IQR对极端值的天然免疫），再延伸至技术价值——降低误判率、保障决策可信度。典型应用场景包括电商销售异常归因、IoT传感器漂移诊断、支付系统故障定位等。实践中，必须避免Z-score滥用、全局阈值一刀切、测试集穿越等常见误区，转而依托业务维度分组、邻居比较法和证据三角验证，实现从‘这个数很怪’到‘原来是因为这个’的认知跃迁。本文聚焦离群点识别、业务归因、稳健处理三大核心环节。
鲁棒回归实战指南：应对异常值的5种主流方法与工程落地要点
线性回归是机器学习最基础的建模工具，但其核心算法——普通最小二乘法（OLS）对异常值高度敏感，导致模型在工业传感器数据、金融时序、用户行为日志等真实场景中泛化能力骤降。根本原因在于平方损失函数赋予离群残差过高的权重，破坏参数估计的稳定性。鲁棒回归通过重构损失函数或优化范式，实现对异常值的抑制而非忽略，典型方法包括Huber回归、RANSAC、Theil-Sen估计、LTS和MM估计。它们在崩溃点、计算效率与统计效率间各有权衡，适用于不同异常比例与业务约束。本文聚焦工程实践，结合statsmodels与sci
SPSS 28 与 Python 统计计算对比：方差分析、回归等 5 类大题实操指南
本文详细对比了SPSS 28与Python在统计计算中的实操差异，涵盖方差分析、线性回归等5类核心统计大题。通过具体案例演示两种工具的实现路径，帮助用户根据需求选择最优解决方案，提升统计分析效率与准确性。特别适合学生和初级分析师掌握主流统计工具的操作技巧。
C++实现四分位数计算：算法详解与工程实践
在数据分析和统计描述中，分位数是理解数据分布、离散程度和偏态的核心工具。其基本原理是将有序数据集分割成具有特定比例的点，例如四分位数将数据分为四等份。从技术价值看，准确计算分位数是异常值检测、箱线图构建以及数据探索性分析（EDA）的基础。在工程实践中，不同算法（如线性插值法、Tukey方法）的选择会直接影响结果，并与Excel、Python等生态的兼容性密切相关。本文聚焦于C++环境下的高效实现，通过模板化设计支持多种数据类型，并深入探讨了边界处理、性能优化及与STL/Boost库的集成方案，为底层系统开发
使用Tukey方法在R语言中识别离群值
然后，我们使用Tukey方法计算了箱线图的统计信息，并提取了离群值。Tukey方法是一种常用的离群值检测技术，本文将介绍如何在R语言中使用Tukey方法来识别离群值，并提供相应的源代码。箱线图是一种直观的数据可视化工具，它显示了数据的分布、中位数和离群值。根据箱线图的原理，离群值被定义为位于上下四分位距（IQR）之外的观测值。下面是一个完整的示例代码，它演示了如何使用Tukey方法在R语言中识别多个变量的离群值。通过以上代码，我们可以针对每个变量识别离群值，并将其打印出来。
ANOVA实战指南：从变异溯源到业务决策的深度解析
方差分析（ANOVA）是多组均值比较的基础统计方法，其核心原理在于分解总变异为组间变异与组内变异，通过F统计量检验因子效应是否显著。不同于简单套用公式，真实项目中需严谨验证独立性、正态性与方差齐性等前提，并结合样本平衡性、效应量（如η²）和事后检验（如Tukey HSD）进行可解释的推断。在电商转化率分析、教学法评估、工业质量控制等场景中，ANOVA不仅是假设检验工具，更是识别系统性差异、支撑数据驱动决策的关键引擎。本文聚焦ANOVA的工程化落地，覆盖经典与稳健变体、ANCOVA协变量校正、重复测量设计及非
利用Tukey方法识别离群值
Tukey法方法通过计算参考值的25%分位数（Q1）、75%分位数（Q3）和四分位间距IQR（Q3-Q1），将分布在Q1-1.5×（IQR）至Q3+1.5×（IQR）之间的参考值定义为可接受数值，否则即为离群值（如下图所示）。当数据满足正态分布时，预计识别0.7%的数值为离群值。在剔除离群值之前，首先分析各项指标检测值是否服从正态分布，如果服从正态分布，直接采用Tukey法进行离群值查找。在统计分析中，离群值(outlier)，也称逸出值，是指在数据中有一个或几个数值与其他数值相比差异较大。
Cooley－Tukey FFT算法
Cooley－Tukey FFT是所有FFT算法中最为通用的，因为Ⅳ可以任意地进行因数分解。最流行的Cooley-Tukey FFT就是变换长度N是r基的幂的形式，也就是N＝rv。这些算法通常称作r基算法。 Cooley和Tukey（更早是Gauss）提出的索引变换也是最简单的索引映射。令A＝N2和B＝1就得到下面的映射结果： 从n1和n2的正确范围可以得出结论。 Cooley和Tukey选择C＝1和D＝N1，就得到下面的映射结果： 在这种情况下也可以省略模计算。这时候如果根据（6．20）式和（6．21）式分别将n和k代入WnkN就会得到： 由于W是N
单变量异常检测五种方法实战指南：原理、选型与避坑
单变量异常检测是数据质量保障的第一道防线，核心在于从一维数值序列中识别违背业务逻辑或统计规律的离群点。其原理基于不同分布假设——Z-score依赖正态性，IQR关注主体区间，Grubbs和Dixon面向小样本极值检验，Modified Z-score则以中位数和MAD提升鲁棒性。技术价值体现在低延迟、高可解释性与部署轻量性，广泛应用于金融交易风控、IoT传感器监控、电商用户行为分析及实验室测量等场景。实际落地需规避‘阈值教条化’‘分布假设错配’‘小样本误用’等典型陷阱，尤其要结合业务损益校准判定边界。本文聚
英飞凌AURIX™ TC3xx系列MCU的ISO 26262安全机制实战：从安全手册到代码集成的避坑指南
本文深入探讨英飞凌AURIX™ TC3xx系列MCU的ISO 26262安全机制实战应用，重点解析锁步核配置、ECC策略优化及SafeTlib库集成中的关键问题。通过代码示例和配置建议，帮助开发者实现ASIL D级别安全性，规避常见陷阱，提升汽车电子系统的功能安全合规性。
数据科学家的描述性统计实战手册：从异常检测到业务决策
描述性统计是数据科学的‘望闻问切’，它不预测也不推断，而是通过均值、中位数、四分位距、偏度等基础指标，快速刻画数据分布形态、识别异常模式、建立可信分析坐标系。在真实工业场景中，标准差易受离群点干扰，而IQR和分位数更具鲁棒性；右偏分布下均值严重失真，必须结合中位数与众数协同判断。这些技术能力直接支撑电商风控中的异常订单识别、IoT设备故障预警、A/B测试结果校验等高价值应用。本文聚焦pandas、seaborn与scipy在描述性统计中的工程化落地，提供可复用的7步工作流与避坑指南。
蓝牙耳机充电仓——功能框架
数据传输：大部分充电仓会跟耳机通信，控制耳机开机、关机和进入可搜索模式等等。蓝牙耳机给大家的生活带来便利，来讲讲TWS蓝牙耳机的搭档充电仓吧！方便携带：如果耳机单独带着，指定能弄丢一个，有了充电仓就安全多了。收纳保护：把珍爱的耳机放入充电仓里，防止丢失、磕碰、刮花等。给耳机充电：提供电力补给，让耳机持续使用。
利用Python实现纬度加权平均（即NCL中的wgt_areaave）
当处理全球数据的时候，最常见的分析就是全球、北半球平均了，这时候一定要注意要根据纬度等信息进行加权，求加权平均，要不然结果肯定会不准。但是对于Python中，常规的计算包里面是没有的，或许现在有其他包可以实现，也可以告诉我~。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
595
扫一扫
