35、机器学习的挑战与实用工具

机器学习的挑战与实用工具

一、机器学习面临的问题

1.1 泛化应用导致的数据损坏

当基于感知到的群体成员身份将泛化应用于个体时，相关的数据集就会被破坏。例如，通常认为吃很多盐的人会自动患上高血压，但根据相关研究，在尼泊尔出生的人并非总是如此。如果应用“吃太多盐会导致高血压”这样的泛化，机器学习算法可能无法理解数据集中的尼泊尔人数据。同样，将一个吃很多盐但血压低的人认定为尼泊尔人也可能是错误的。

1.2 避免歧视性做法

歧视性的数据收集做法会导致机器学习算法产生无用的结果。专注于特定群体可能会使分析产生短视，导致结果不清晰且可能不准确。识别特定性别、年龄、种族、宗教信仰等个人特征作为数据集的数据来源，可能会产生比避免歧视性做法、依靠更广泛人群作为数据来源更无用的结果。在处理可能影响人们生活的问题时，如监狱量刑自动化，人类需要参与其中，以确保算法的公平性。

1.3 检测代码中的黑天鹅

黑天鹅是机器学习中随机且意外的现象，会对结果产生不成比例的影响。例如，常见电影的价格通常在 19.99 美元左右，但可能会出现 200 美元以上的高价；算法预测的选举结果与专家观点不同，但最终候选人获胜。人们往往不相信黑天鹅结果，因为他们从未见过。贝叶斯理论可以帮助定位和消除黑天鹅，但它无法消除大众共识效应。研究人员有时会因为人类思维中的谬误，不相信机器学习算法的输出，即使输出是完全合乎逻辑且基于事实的。

1.4 理解过程的重要性

政府要求（如 GDPR）规定，必须能够解释机器学习算法如何获得特定输出。如果算法在决策中偏袒某一群体，需要解释原因并描述决策过程，且该过程必须公平合法。将机器学