大数据（一）

处理海量数据的核心技术：

海量数据存储：分布式
海量数据运算：分布式

存储框架：
HDFS–分布式文件存储系统
HBASE–分布式数据库系统
KAFKA–分布式消息缓存系统（实时流式数据处理场景中应用）

运算框架：（帮用户将运算逻辑在许多机器上并行）
MAPREDUCE–离线批处理/HADOOP中的运算框架
Spark–离线批处理/实时流式计算
Storm–实时流式计算

辅助工具：
HIVE–数据仓库工具，可以接收sql，翻译成mapreduce或者spark程序运行
Flume–数据采集
Sqoop–数据迁移
ELASTIC SEARCH–分布式搜索引擎

应用场景：

公司产品的运营情况分析
电商推荐系统
精准广告推荐系统