19、大数据架构影响与大数据之旅开启

大数据架构影响与大数据之旅开启

在当今数字化时代，数据已成为推动业务发展的核心力量。随着数据量的爆炸式增长，传统的ETL、数据仓库和BI环境正逐渐向现代的大数据就绪的数据管理和分析环境转变。下面将介绍一些关键的大数据技术及其带来的影响。

数据预处理与Hadoop、MapReduce

在处理日志文件以创建复合频率、近期性和排序指标时，传统的ETL方法面临挑战。因为对于每个单独的复合指标计算，可能都需要解析整个历史记录。而Hadoop和MapReduce则是解决此类问题的理想选择，它们可以一次性创建这些新的复合指标。

数据联合：查询即新的ETL

数据联合和语义主数据管理领域的持续发展，使组织能够根据需要扩展数据仓库，以访问非数据仓库和外部数据源。数据联合软件工具支持从不同数据源访问和虚拟集成数据，而无需将数据永久移动到集中式数据存储库或数据仓库。语义主文件提供定义、分类法和链接，以实现对这些虚拟化数据源的无缝和虚拟访问。

这种“虚拟数据仓库”能支持组织快速访问不常使用的数据源，而无需经历将数据集成到企业数据仓库的漫长过程。如果后续发现某个数据源需要更频繁地分析，从分析性能和数据管理的角度来看，最好还是将其纳入集中式数据环境。

数据联合的好处

• 快速扩展数据仓库环境，以访问不常使用的数据源。
• 支持一次性的业务分析请求。
• 在将业务用例迁移到企业数据仓库之前进行测试和验证。

软件供应商正在开发对数据仓库外部数据源进行索引的技术，以便根据需要方便地访问这些数据，这类似于谷歌对整个互联网进行索引以提供亚秒级搜索结果