作者:王浩
导读:业务系统或者日志系统产生了大量的原始数据,我们根据业务场景需求将数据保存到不同的存储中。然而,数据只有通过整合、加工、计算,才能提取出其潜在的信息,让数据变为资产,从而实现数据的价值。Moonbox就是这样一款计算服务平台,在敏捷大数据(Agile BigData)理论的指导下,围绕“计算服务化”和“数据虚拟化”两个核心概念进行设计,支持多种数据源混合计算。Moonbox的设计理念是怎样的?又有什么功能特点呢?本文带您初步走进Moonbox~
一、Moonbox设计理念
大数据技术在企业中的应用日益广泛,为解决各种不同的场景问题,越来越多的数据系统出现,而如何基于全景数据去进行快速查询计算成为了迫切的需求和挑战。
目前的主流方式是建立以Hadoop为核心的数据仓库/数据湖,这在某种程度上解决了异构数据系统及数据分散的问题,但依然存在数据归集带来的维护成本和时效损失。另外,数据开发人员也面临着业务频繁变更和结果快速交付的问题。
面对这一系列挑战,计算服务化和数据虚拟化提供了很好的解决思路。Moonbox正是在大数据场景下,对计算服务化和数据虚拟化的一种实践,其设计思想主要体现在以下几个方面:
计算服务化
Moonbox提供多种查询接口以及定时任务,将计算资源变成一种服务,终端用户可以自助注册数据源编写SQL实现需求,只需要关心业务逻辑,而不用关心作业是如何提交运行的。数据虚拟化
Moonbox提供虚拟表到物理表之间的映射,终端用户无需关心数据的物理存放位置和底层数据源的特性,可直接操作数据,体验类似操作一个虚拟数据库。统一入口
✔ 统一查询语言
Moonbox对用户提供统一的SQL语法标准,屏蔽异构数据系统查询语言的差异,用户只需编写SQL即可查询各种数据系统,也可使用SQL进行跨异构数据系统混算,降低多数据系统的学习成本。
✔ 统一元数据服务
Moonbox能够对接多种数据系统,可以拿到各个数据系统数