39、大数据领域的技术、伦理与职业发展

大数据领域的技术、伦理与职业发展

1. 大数据软件生态与技术获取

大数据软件生态系统的发展速度远超基础事务。当你准备投身实际业务时，通过谷歌搜索和浏览 O’Reilly 图书目录，能够了解到最新的技术。

2. 大数据的社会与伦理影响

大数据虽能为世界带来诸多益处，但也可能对个人和社会造成伤害。以下是一些常见的伦理问题：

2.1 沟通与建模的完整性

数据科学家是分析结果与雇主或公众之间的桥梁。存在一种诱惑，即通过各种手段让结果看起来比实际更强，比如：
- 不与基线比较或不报告 p 值就报告相关性或精度水平。
- 从多个实验中挑选，只展示最佳结果，而非呈现更准确的全貌。
- 使用可视化技术掩盖信息而非揭示信息。

优秀的建模者清楚模型的局限性，诚实的建模者会完整地传达工作情况，包括已知和不确定的部分。利益冲突也是数据科学中的一个真正问题，准确报告和传播结果是符合伦理的数据科学家的基本行为。

2.2 透明度与所有权

公司和研究机构通常会公布数据使用和保留政策，以表明他们值得客户信任。然而，一旦数据的商业价值显现，这种透明度可能会发生变化。用户对自己生成的数据拥有多大程度的所有权是一个复杂的问题，他们应有权查看收集到的信息，并阻止未来对这些信息的使用。数据错误可能会传播并伤害个人，但人们往往缺乏获取和理解这些信息的机制。

2.3 不可纠正的决策与反馈循环

将模型用作严格的筛选标准可能很危险，尤其是在模型只是实际测量指标的代理的领域。例如，一个模型可能表明雇佣来自低阶层社区的求职者有风险，如果所有雇主都使用这