"Hadoop在ebay中的使用历程"分享总结

最新推荐文章于 2022-07-11 13:26:10 发布

最新推荐文章于 2022-07-11 13:26:10 发布 · 317 阅读

文章标签：

#大数据

分享汇总专栏收录该内容

49 篇文章

订阅专栏

本文详细记录了ebay如何利用Hadoop解决单节点问题、改善资源管理、调度与虚拟集群管理，以及在新闻检索系统、社交应用、移动应用、爬虫和日志系统中的应用案例。此外，文章还探讨了Hadoop与Hbase在ebay的日志平衡、MR调度、HDFS合并等方面的协同作用。

概述：

此分享是关于Hadoop在ebay中的使用历程的汇总。作者来自ebay

分享点：

数据包括query log、sellers、buyers、clicks、items/products、feedbacks、Performance、Images、User History、Crawled Data；
数据就是机会；
在ebay解决了单节点问题、更好的资源管理、调度以及虚拟集群管理；
hadoop中增加权限控制以及多租户以满足权限控制；
hadoop主要在用着ebay的新闻检索系统、社交应用、移动应用、爬虫以及日志系统；
Hbase在ebay增强了load balancing，MR调度，HDFS合并；

更多详情参见附件