幸存者偏差

历史背景

二战期间,英国空军伤亡惨烈,所以他们打算给飞机加固。许多科学家认为,因为机翼上的弹孔最多,所以要对机翼部分进行加固。但科学家瓦尔德却觉得,虽然机翼上弹孔多,但那是因为飞行员活着回来了;但引擎中弹的飞机,几乎一个都没有回来。所以,最需要加固的应该是引擎。

瓦尔德的这个理论,就是幸存者偏差。

幸存者偏差

幸存者偏差指你人只看到了自己能够看到的,却有一部分没有看到,人们根据自己看到的现象,去分析其中的原因,却忽略了自己为什么能看到这种现象的原因,这就会造成偏差。

举个例子,一些人看到学历低的人赚了大钱,就鼓吹读书无用。殊不知那些学历低且没有成功的人,根本就难以被人看到。一款降落伞没有差评,有没有可能是因为买家因为降落伞的质量差而导致没有机会去评价呢?

我们不能仅仅通过自己看到的来评价一件事物,我们更应该仔细考虑,不要被幸存者偏差所影响。

根据原作 https://pan.quark.cn/s/459657bcfd45 的源码改编 Classic-ML-Methods-Algo 引言 建立这个项目,是为了梳理和总结传统机器学习(Machine Learning)方法(methods)或者算法(algo),和各位同仁相互学习交流. 现在的深度学习本质上来自于传统的神经网络模型,很大程度上是传统机器学习的延续,同时也在不少时候需要结合传统方法来实现. 任何机器学习方法基本的流程结构都是通用的;使用的评价方法也基本通用;使用的一些数学知识也是通用的. 本文在梳理传统机器学习方法算法的同时也会顺便补充这些流程,数学上的知识以供参考. 机器学习 机器学习是人工智能(Artificial Intelligence)的一个分支,也是实现人工智能最重要的手段.区别于传统的基于规则(rule-based)的算法,机器学习可以从数据中获取知识,从而实现规定的任务[Ian Goodfellow and Yoshua Bengio and Aaron Courville的Deep Learning].这些知识可以分为四种: 总结(summarization) 预测(prediction) 估计(estimation) 假想验证(hypothesis testing) 机器学习主要关心的是预测[Varian在Big Data : New Tricks for Econometrics],预测的可以是连续性的输出变量,分类,聚类或者物品之间的有趣关联. 机器学习分类 根据数据配置(setting,是否有标签,可以是连续的也可以是离散的)和任务目标,我们可以将机器学习方法分为四种: 无监督(unsupervised) 训练数据没有给定...
### 幸存者偏差在算法中的表现及影响 #### 什么是幸存者偏差幸存者偏差是一种常见的统计学谬误,指的是人们倾向于关注成功的结果或“存活下来的数据”,而忽略了未成功的部分或未能留存的信息[^1]。这种偏见可能导致错误的推断和决策。 #### 算法中的幸存者偏差现象 在机器学习和数据分析领域,幸存者偏差可能表现为训练数据的选择不当或测试集的设计不合理。例如,在构建分类器时,如果仅基于已知的成功案例来调整模型参数,则可能会忽略失败案例的重要特征[^2]。这不仅会影响模型的准确性,还可能导致其无法适应新的场景。 #### 对结果的具体影响 当存在幸存者偏差时,算法得出的结论往往具有误导性。具体来说: - **预测性能下降**:由于缺乏对负面实例的学习,模型难以处理异常情况下的输入。 - **资源分配失衡**:依据偏向性的分析做出资源配置决定,最终造成效率低下甚至浪费。 - **风险评估不足**:忽视潜在的风险因素使得系统面对突发状况时更加脆弱[^4]。 #### 解决方法探讨 为了减少由幸存者偏差带来的负面影响,可以采取以下策略之一或多组合并应用: 1. 数据增强技术 通过合成少数类样本或者引入外部知识扩充原始数据集合,从而平衡各类别的分布比例[^3]。 2. 调整评价指标体系 除了常用的精确度(Accuracy),还需要考虑召回率(Recall)、F1分数(F1-Score)等能够反映不同类别间差异程度的标准来进行综合考量。 3. 增加透明性和可解释性 开发易于理解且具备一定逻辑链条支持的AI解决方案,让用户清楚知道哪些变量参与到了最后判断当中去,并能接受质疑与检验。 4. 多角度验证假设成立条件 不仅仅依赖单一维度上的证据链路支撑起整个理论框架;而是应该从多个相互独立又彼此关联的角度出发反复论证直至形成共识为止。 ```python from sklearn.utils import resample def balance_data(X, y): X_majority = X[y == majority_class] X_minority = X[y != majority_class] # Upsample minority class X_minority_upsampled = resample(X_minority, replace=True, # sample with replacement n_samples=len(X_majority), # to match majority class random_state=123) # reproducible results # Combine majority and upsampled minority classes X_balanced = np.vstack((X_majority, X_minority_upsampled)) return X_balanced ``` 上述代码片段展示了如何通过对少数群体进行重抽样达到数据均衡的目的。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值