算法偏差:稳定性与自身引入的双重挑战
1. 算法的稳定性偏差
1.1 结构变化导致的偏差
算法的设计基于历史数据来建立规则,以预测未来结果。然而,当世界发生周期性或结构性变化时,算法可能会出现偏差。例如,新汽车模型的设计与同一品牌的旧模型有结构差异,或者制造商推出需进口零部件的高端车型(此前仅销售使用本地零部件的经济型汽车),算法的预测就可能不准确。如果出现全新技术,算法的预测能力更是会大打折扣。比如,样本中没有电动汽车数据,算法就会偏向于内燃机汽车,难以对电动汽车做出准确预测。
1.2 应对结构变化的困境
以 2007 - 2008 年全球金融危机为例,数据科学家若想在模型中加入“房价近期变化”这一变量来预测房贷违约率,但银行只有 2000 年以后的数据,且 2000 - 2006 年房价一直上涨,没有房价下跌的数据。此时会面临两难选择:
- 追溯历史数据 :美国 20 世纪 80 年代初和 90 年代曾出现房价下跌,但从雇主地下室的旧文件中获取当时的房贷数据,会发现很多近年算法中重要的属性数据缺失,这可能严重影响算法的准确性。
- 创建合成数据 :复制粘贴样本中的某些实例,手动修改部分值来制造房价下跌时期的数据。但这种方法不仅充满个人偏见,还难以正确调整其他属性,导致算法存在大量缺陷和偏差。
1.3 响应速度对算法的影响
机器学习的快速学习能力可帮助算法应对未来变化。例如,在线图书销售商的推荐引擎面对两本全新书籍,可通过随机展示推荐并收集用户点击和购买数据,快速更新推荐算法。但这种快速更新能力依赖于快速的响应速
算法偏差的双重根源与应对
超级会员免费看
订阅专栏 解锁全文

被折叠的 条评论
为什么被折叠?



