本文探讨了HADOOP在国内外著名互联网公司的应用，如阿里巴巴用于商业数据排序和搜索引擎，百度的日志分析与数据挖掘，Facebook的内部日志存储和数据挖掘，Hulu的日志存储和分析，Twitter的微博数据存储，以及雅虎的广告系统和网页搜索支持。这些案例展示了HADOOP在大规模数据处理和存储中的核心作用。
HADOOP在阿里巴巴：
用于处理商业数据的排序，并将其应用于阿里巴巴的ISEARCH搜索引擎，垂直商业搜索引擎。
节点数： 15台机器的构成的服务器集群
服务器配置： 8核CPU，16G内存，1.4T硬盘容量。
HADOOP在百度：
HADOOP主要应用日志分析，同时使用它做一些网页数据库的数据挖掘工作。
节点数：10 - 500个节点。
周数据量： 3000TB
HADOOP在Facebook：
主要用于存储内部日志的拷贝，作为一个源用于处理数据挖掘和日志统计。
主要使用了2个集群：
一个由1100台节点组成的集群，包括8800核CPU（即每台机器8核）,和12000TB的原始存储(即每台机器12T硬盘)
一个有300台节点组成的集群，包括2400核CPU（即每台机器8核），和3000TB的原始存储(即每台机器12T硬盘)
最低0.47元/天 解锁文章
扫一扫
1498
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
