23、融合机器学习与传统方法，防范算法偏差

融合机器学习与传统方法，防范算法偏差

1. 机器学习与手工方法的选择

在处理算法偏差时，机器学习和手工方法各有优劣，具体选择取决于不同的情况：
- 优先考虑手工方法 ：当检测到算法可能存在偏差，且这种偏差会带来重大商业风险，只有手工方法才能妥善解决时，我们应优先考虑手工方法。
- 难以采用手工方法 ：如果速度至关重要，组织对处理偏差缺乏见解，或者算法的经济效益不足以支持手工开发，那么可能无法采用手工方法。
- 不使用算法 ：如果机器学习和手工方法都不可行，那么不使用算法可能是最佳选择。
- 采用混合方法 ：在处理非常大或复杂的数据时，我们可以采用结合机器学习和手工技术的混合方法。

下面是选择方法的决策流程图：

graph LR
    A[检测算法偏差及商业风险] -->|存在重大风险且手工可解决| B[手工方法]
    A -->|速度关键、缺乏见解或效益不足| C[不采用手工方法]
    B -->|不可行| D[不使用算法]
    C -->|数据大或复杂| E[混合方法]

2. 结合机器学习与手工模型设计的四种技术

2.1 特征级机器学习

机器学习在处理非常细化（因此数据量很大）的数据时具有独特优势，例如每个观察单位（如患者或贷款申请人）有大量交易记录的情况。但它也有明显的缺点，比如在分类变量有非常罕见的类