2、大数据与Hadoop：从基础到安装准备

大数据与Hadoop：从基础到安装准备

一、大数据价值与Hadoop平台概述

1.1 大数据的价值定义

大数据的价值属性决定了我们能从大数据中获得什么以及如何使用它。例如，可从在线点击数据中挖掘频繁项集，用于更好的营销和更高效的广告投放。大数据平台可用IPO模型描述，包括输入、处理和输出三个组件。对于大数据问题，数据的体量、速度和多样性属性共同定义了系统的输入，而价值属性定义了输出。

1.2 构建基于Hadoop的大数据平台

1.2.1 准备工作

Hadoop旨在实现并行和弹性计算，它通过利用由通用硬件组成的计算资源的力量，重新定义了数据管理和处理的方式，并且能够自动从故障中恢复。

1.2.2 操作步骤

构建基于Hadoop的大数据平台可按以下步骤进行：
1. 设计、实现和部署数据收集或聚合子系统 ：这些子系统应将数据从不同数据源传输到与Hadoop兼容的数据存储系统，如HDFS和HBase。子系统的设计需基于大数据问题的输入属性，包括体量、速度和多样性。
2. 设计、实现和部署Hadoop大数据处理平台 ：该平台应处理位于HDFS或HBase上的大数据，并产生预期的有价值的输出。
3. 设计、实现和部署结果交付子系统 ：交付子系统应将分析结果从与Hadoop兼容的格式转换为适合最终用户的格式。例如，可设计Web应用程序，使用图表、图形或其他类型的动态Web应用程序来可视化分析结果。

1.2.3 工作原理

<