9、算法偏差:稳定性与自身引入的双重挑战

算法偏差的双重根源与应对

算法偏差:稳定性与自身引入的双重挑战

1. 算法的稳定性偏差

1.1 结构变化导致的偏差

算法的设计基于历史数据来建立规则,以预测未来结果。然而,当世界发生周期性或结构性变化时,算法可能会出现偏差。例如,新汽车模型的设计与同一品牌的旧模型有结构差异,或者制造商推出需进口零部件的高端车型(此前仅销售使用本地零部件的经济型汽车),算法的预测就可能不准确。如果出现全新技术,算法的预测能力更是会大打折扣。比如,样本中没有电动汽车数据,算法就会偏向于内燃机汽车,难以对电动汽车做出准确预测。

1.2 应对结构变化的困境

以 2007 - 2008 年全球金融危机为例,数据科学家若想在模型中加入“房价近期变化”这一变量来预测房贷违约率,但银行只有 2000 年以后的数据,且 2000 - 2006 年房价一直上涨,没有房价下跌的数据。此时会面临两难选择:
- 追溯历史数据 :美国 20 世纪 80 年代初和 90 年代曾出现房价下跌,但从雇主地下室的旧文件中获取当时的房贷数据,会发现很多近年算法中重要的属性数据缺失,这可能严重影响算法的准确性。
- 创建合成数据 :复制粘贴样本中的某些实例,手动修改部分值来制造房价下跌时期的数据。但这种方法不仅充满个人偏见,还难以正确调整其他属性,导致算法存在大量缺陷和偏差。

1.3 响应速度对算法的影响

机器学习的快速学习能力可帮助算法应对未来变化。例如,在线图书销售商的推荐引擎面对两本全新书籍,可通过随机展示推荐并收集用户点击和购买数据,快速更新推荐算法。但这种快速更新能力依赖于快速的响应速

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值