23、数据技术全解析：从存储到处理的综合指南

数据技术全解析：从存储到处理的综合指南

1. 数据建模与集成

在数据处理中，将多个表组合在一起避免连接操作，能加快数据读取速度。同时，创建缓慢变化维度来跟踪维度历史，如客户地址的变化，十分有用。良好的数据建模能让数据复用更轻松，节省大量时间。若在加载数据前未进行数据建模转换，像 dbt（数据构建工具）或 BI 工具（如 Looker 的 LookML）中的建模层，可让数据科学家和分析师进行自助式转换。只要熟悉 SQL，任何人都能使用 dbt 应用软件工程最佳实践，如版本控制、自动化测试和同行评审，无需依赖数据工程师。

数据集成方面，将多源数据存储在一处却无法集成是无用的。用 ETL 工具将大量数据源整合到数据仓库模式并非可扩展或快速的解决方案。各组织通常有客户、员工、产品和供应商等主要实体，可跨数据源关联，但不同工具和组织单位记录实体值和字段名的方式差异大，匹配困难。例如，不同业务部门记录同一客户的姓名和地址方式可能完全不同。

数据科学家常需从数据湖中自行组合数据，但缺乏对每个数据源的深入了解，集成工作会变得不可扩展、耗时且易出错。主数据管理试图从多个可能代表同一事物的数据项中创建单一主参考源。MDM 软件依靠数据清理、转换和复杂规则来确定跨组织集成关键实体的单一参考点，但创建 MDM 软件维护主记录所需的所有规则是个挑战。为解决数据集成问题，像 Tamr 这样的新一代数据统一工具正在兴起，它们结合机器学习和人类专业知识，提供自动化和可扩展的数据组合解决方案。

2. 数据准备

数据准备，有时也叫数据预处理或数据整理，能方便用户进行高效数据分析。它是一个多步骤过程，包括收集、清理、纠正、组合和转换数据，使其能被数据分析和数据科学工具进一步