本文深入探讨了大数据的核心组件HDFS，详细介绍了其数据采集、存储、建模分析和分析过程。讨论了HDFS的优点，如处理大规模非结构化数据的能力，以及其局限性，如不适用于低延迟访问。此外，文章还涵盖了HDFS的体系结构，包括NameNode、DataNode等组件，以及数据块、复制策略和故障恢复机制，强调了HDFS在大数据处理中的关键作用。
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合
大数据 = “海量数据”+“复杂的数据类型”
如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”
Drill/Impala ：内存SQL引擎，Dremel开源实现
BigTop：Hadoop生态系统打包分发与测试
Lucence ：全文搜索引擎
Nutch：爬虫系统
Thrift：网络接口开发工具
数据采集
Flume(NG)
Sqoop
Scribe
Camus
数据存储
数据建模分析
机器学习：Spark MLlib
Mahout
图计算：Spark GraphX
Neo4j
数据分析
HDFS简介
优点
- 处理超大文件
能用来存储管理PB级的数据 1PB = 1024TB - 处理非结构化数据
- 流式的访问数据
一次写入、多次读取 - 运行于廉价的商用机器集群上
可运行在低廉的商用硬件集群上
故障时能继续运行且不让用户察觉到明显的中断
最低0.47元/天 解锁文章
扫一扫
1191
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
