京东自2017年起在adhoc平台使用Alluxio，部署超500节点，每日处理70T数据，为Presto应用带来10倍性能提升。通过Alluxio实现独立shuffleservice，依据任务级别和类型决定shuffle数据存储等级。
京东adhoc平台自2017年开始使用alluxio，目前已部署超过500个物理节点，每天加载超过70T的数据，alluxio为adhoc平台部分Presto应用带来了10X的性能提升和稳定的亚秒级查询体验；基于alluxio实现独立的shuffle service服务，根据任务级别和任务类型（Spark，MR）决定shuffle数据存储等级（RAM，SSD，HDD）
张芒，京东大数据平台计算引擎负责人，2015年加入京东，主要负责adhoc平台的搭建、架构升级及日常维护工作。开源软件爱好者，目前是Hadoop，Hive，Presto，Alluxio的Contributer
原文https://www.slidestalk.com/s/JD_Presto_On_Alluxio_2018
扫一扫
2425
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
