TDW VS 飞天5K

前记： 刚刚打开csdn首页，一篇“腾讯大规模Hadoop集群实践”的文章占据了最显眼的位置。这让我想起前段时间看到的另外一篇文章:飞天5K

于是翻出来，仔细对比了下

1.   离线数据平台

•   TDW（Tencent distributed Data Warehouse）是腾讯最大的离线数据处理平台

•    ODPS(Open Data Processing Service)是阿里巴巴研发离线数据处理平台

 2.  底层框架

•    TDW基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。
•   ODPS基于飞天分布式操作系统，支持海量结构化数据的离线存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务 

3.  集群参数

•  TDW单集群规模达到4400台，CPU总核数达到10万左右，存储容量达到100PB；每日作业数100多万，每日计算量4PB，作业并发数2000左右；实际存储数据量80PB，文件数和块数达到6亿多

• ODPS单集群规模从1500台升级到5000台，同时实现了跨集群扩展；单点集群拥有超过10万核计算的能力、100PB存储空间，可处理15万并发任务数，承载亿级别文件数目。

待续。。。。

参考资料

[1] 阿里云产品文档 http://www.aliyun.com/product/odps/