William McKnight关于数据平台和创建现代数据架构的见解

最新推荐文章于 2022-06-05 12:56:51 发布

原创最新推荐文章于 2022-06-05 12:56:51 发布 · 126 阅读

CC 4.0 BY-SA版权

在数据架构2018年峰会上，William McKnight探讨了数据成熟度与业务成功的关联，强调了数据架构的重要性。他提到AI和生物数据的兴起，以及数据湖、数据仓库和NewSQL数据库在数据工作中的角色。演讲还涉及了数据架构师在HDFS和云存储之间的选择，以及大数据平台的使用。McKnight建议数据专业人员为长期的数据架构转型做好准备。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在上周举行的数据架构2018年峰会上，William McKnight就使用不同的数据平台创建现代数据架构做了主旨演讲。

他以讨论组织的数据成熟度和业务成功之间的高度相关性开始了他的演讲。组织的数据架构越成熟，业务就越成功。成熟度较低的组织往往会把数据分散于不同的信息孤岛中。他分享了一些来自2018年“互联网分钟（Internet Minute）”中所发生的事情的统计数据，在互联网上每分钟发送1亿8700万封电子邮件和1800万条短信，进行370万次搜索查询等等。

人工智能（AI）是一股颠覆性的力量，而数据则是这场革命的基石。行业中出现了新的数据集：生物数据（Bio Data）。如果将生物数据和环境数据（如位置等）结合在一起，那么你将拥有进行数据分析的所有信息。

他谈到了数据培养和像数据仓库（data warehouse）和数据湖（Data Lake）这样的解决方案如何帮助完成数据工作。数据架构师也需要在HDFS和云存储之间做出选择。HDFS具有更好的查询性能，而云存储的扩展性、持久性和可用性更好，并且成本更低。

通过比较关系数据库和nosql数据库的数据大小和工作负载复杂性，McKnight讨论了即可使用的大数据平台的选择。

另外，他也谈到了NewSQL数据库，该数据库可扩展、兼容ACID并支持分片。这些数据库正被用于资本市场数据输入、金融交易、电信记录流和欺诈检测。

数据库的云部署提供了一些好处，包括按需和自助服务数据管理、广泛的网络访问、资源汇集、快速弹性和可测量的服务。

传统的ETL技术不足以用于企业范围内运行的数据平台。有各种各样的数据源，并且数据是实时流式传输的。数据架构应该考虑这些需求的流处理。

企业数据虚拟化提供了对所有结构化和半结构化数据持续及时的访问，这些数据来自组织内不同的数据源，如数据仓库、市场、多维数据集、操作数据存储（operational data stores，简称ODS）、事务源和文件系统。

他建议，数据专业人员在这次数据架构转型旅程中进行他们的挑战，应该做好进行长期战役的准备，可能会失败几次才能最终获得成功。将您的数据体系结构工作与应用程序预算和路线图项目结合起来，以便在数据架构实施方面取得进展。

McKnight对其演讲进行了总结，建议数据专业人员在需要高性能的数据管理解决方案的地方考虑使用内存数据库，并考虑未来使用GPU数据库和混合数据库。

阅读英文原文：William McKnight on Data Platforms and Creating a Modern Data Architecture

感谢冬雨对本文的审校。