6、大数据技术组件深度剖析

大数据技术组件深度剖析

1. 大数据概述

大数据具有高容量、高速度和高度多样化的数据类型。在面对不同的数据情况时，有不同的处理方式。例如，处理高容量事务性数据并需要容错时，可在拥有高速网络基础设施的数据中心部署冗余关系数据库集群；若要整合来自多个已知和匿名源的不同数据类型，可构建驱动定制数据仓库的可扩展元模型。

但在更动态的大数据世界中，需要创建一种架构模型来应对混合环境。这种新环境要求架构既能理解大数据的动态性质，又能将相关知识应用于业务解决方案。

2. 探索大数据栈

设计大数据架构时，应采用整体视角，考虑所有元素如何协同工作。将大数据视为一种战略而非项目至关重要。良好的设计原则在创建或发展支持大数据的环境时非常关键，该环境需涵盖硬件、基础设施软件、运营软件、管理软件、定义明确的应用程序编程接口（APIs）以及软件开发工具等方面。架构需满足以下基础要求：
- 捕获
- 整合
- 组织
- 分析
- 行动

下面是大数据技术栈的分层参考架构，可作为思考能满足大数据项目功能需求的技术框架：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(Layer 0: 冗余物理基础设施):::process --> B(Layer 1: 安全基础设施):::process
    B --> C(Layer 2: 操作数据库):::process
    C --> D(接口和应用程序及互联