17、大数据项目实战：从理论到应用

大数据项目实战：从理论到应用

1. 大数据项目基础

在大数据项目中，我们常常会遇到一些难题。比如，要开发一个能让食品减少浪费、让更多食品流向有需要的人的应用程序，开发者该如何获取消费者的食品购买数据，以及消费者使用和丢弃产品的数据呢？虽然这些问题可能会阻碍项目进展，但获取和分析这些数据、构建消费者喜爱的移动应用所带来的价值，可能远超投入。从关注业务价值而非数据本身入手，能更轻松地实现大数据项目目标。

1.1 数据存储

无论选择处理何种数据，都需要将其存储在某个地方以便分析，可以选择本地存储或云存储。如果公司有现有的信息技术（IT）资源，可能可以在内部获取所需的服务器、存储和处理能力。但 IT 部门通常很忙，在这种情况下，或者不确定需要存储多少数据以及进行多少分析处理时，云存储和分析更有意义。

1.2 数据类型与技术选择

数据分为结构化和非结构化数据，技术选择也因数据类型而异。传统数据库足以存储联系信息、账单记录等结构化信息。非结构化数据，如网页和文本文件，可直接存储在磁盘上，但大规模处理这类数据时，需要更复杂的技术，如 Hadoop 和 MapReduce。

1.3 数据可视化

无论处理多少数据，最终都需要让分析结果易于获取和操作，这就是可视化产品的用武之地。像 Tableau Software 和 QlikTech 等公司的产品，能轻松处理大量数据并创建引人入胜的交互式可视化效果。可视化能将难以理解的 1 和 0 转化为清晰的图像，让大数据项目更具可操作性。

1.4 大数据应用（BDAs）

现在出现了新的大数据应用（BDAs），它们将数据收集、