16、大数据分析与文本分析的深度解析

大数据分析与文本分析的深度解析

1. 大数据分析平台需求

在寻找大数据分析平台时，它需要达成以下几个关键目标：
- 技术整合 ：基础设施要将新的大数据技术与传统技术相融合，从而能够处理各类大数据，并使其可被传统分析方法利用。
- 大量异构数据存储 ：可能需要一个企业级强化的 Hadoop 系统，它能够处理、存储和管理大量静态数据，无论这些数据是结构化、半结构化还是非结构化的。
- 动态数据处理 ：或许需要具备流计算能力，以处理由传感器、智能设备、视频、音频和日志等持续生成的动态数据，从而支持实时决策。
- 数据仓库 ：可能需要一个针对运营或深度分析工作负载进行优化的解决方案，用于存储和管理不断增长的可信数据。

此外，还需要具备将已有数据与大数据分析结果相整合的能力。

2. 大数据分析应用案例

2.1 Orbitz

Orbitz 是一家旅游网站，成立于 1999 年，网站于 2001 年上线。其用户每天进行超过一百万次搜索，公司每天从这些搜索中收集数百 GB 的原始数据。Orbitz 意识到其网络分析软件收集的网络日志文件中可能包含有关消费者与网站交互的有用信息。它希望通过识别消费者偏好，确定向用户展示的最佳酒店，以提高转化率（预订量）。过去，由于存储所有数据成本过高，该公司未充分利用这些数据。后来，它在通用硬件上部署了 Hadoop 和 Hive。Hadoop 提供分布式文件系统，Hive 提供类似 SQL 的接口。公司将数据导入 Hive 后