10、医疗大数据与机器学习：误区解析与最佳实践

医疗大数据与机器学习：误区解析与最佳实践

1. 大数据常见误区

1.1 误区七：大数据 = Hadoop & HDFS，IT 部门偏好的架构/技术就是大数据

医疗数据的范围广泛且多样，其二次使用场景也各不相同。虽然 Hadoop 和 HDFS 在统一的大数据架构中起着关键作用，但解决方案还需考虑各种新的、替代的和传统的技术。业务用户更希望获取所有数据，而不受单一技术或架构的限制。数据战略和分析用例应尽可能独立于技术，以便利用大数据存储、管理和分析方面的快速发展和新方法、工具。

1.2 误区八：大数据项目成本高昂，或需要大量数据科学家来管理大数据

实际上，关键是从小规模开始，目标明确，并定期进行 ROI 分析。分布式计算环境和大数据设备的本地存储成本正在降低，云存储和计算成本也大幅下降。开源技术的可用性、商业软件供应商的广泛采用以及与现有服务/产品的集成，将继续降低前期成本和维护门槛。

虽然需要数据科学家来奠定数据科学的基础，如统计建模、学习算法设计、训练模型创建和高级分析，但具备医疗领域经验的优秀数据科学家并不容易找到，也不需要大量招聘。组织应让现有的数据科学家专注于发挥他们的优势和技能。大数据分析团队还应包括现有团队中的用户、领域专家、业务分析师和系统工程师。

2. 大数据最佳实践

2.1 确定目的和范围

• 避免“大爆炸”式和过于雄心勃勃的范围，直到团队掌握了用例、工作流程、数据和技术。
• 逐步定义分析和数据源的范围。如果团队在设计/开发此类解决方案方面缺乏经验，可从已知的结构化数据/分析入手，再添加新的大数据元素。 </