数据蒋堂 | 大数据集群该不该透明化？

这好像是个多余的问题，大部分大数据平台都把集群透明化作为一个基本目标在努力实现。

所谓集群透明化，是指把一个多台机器的集群模拟得像一个巨大的单机，只是系统管理层面知道体系是由很多单机集群而成，应用程序则应当尽量少地感受到集群的存在，在概念上可以把整个集群理解成一台机器，甚至在代码级都可能和单机运算兼容。

透明化主要有两个方面。一方面是数据存储，提供统一的集群文件系统或者数据库系统，应用程序不需要关心数据具体存放在哪里了，系统将自动寻找合适的节点，并提供一定的冗余容错机制；内存的透明化相对要困难一些，有时需要应用程序知道集群的存在。另一方面是任务分配，系统负责将大任务拆分成小任务并分配给各个节点机去执行，在有节点故障时能再将任务分配给其它节点；有时任务拆分比较困难，也需要程序员事先设计好拆分方案。

透明化显然有好处，可以降低理解难度，开发程序时和单机情况差不多，也能提高代码的兼容性。从这个意义上讲，只要能透明化就都应当去做，除非是实现难度太大（比如上面提到内存和任务拆分）的情况。

那么，为什么还要提出该不该透明化的问题呢？

因为，透明化难以获得最优的性能，而高性能对于大数据计算又是一个关键的目标。

我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

高性能计算方案因运算目标和数据特征而异，并没有普适的优化方法。好算法需要特定的数据分布及任务分配方案，而使用系统自动的机制就很可能无法实现了。有些优化手段还是互相矛盾的，如果不做透明化则可以根据场景选用哪种。而实现透明化时，为了保证在任何情况都能正常工作，经常只能选择较保险的方案，常常这并不是性能最好的方案。

比如在做JOIN运算时，我们可以从业务上区分维表和事实表，也事先知道维表的容量，如果维表数据量较小，则可以将维表主动存储到所有节点中甚至读入内存，而只把事实表分段存储到节点中，并按此分布设计更优的算法能。而透明化方案不能做这些假定，要处理一般情况，就不能区分维表和事实表，也不能假定维表足够小。有些计算平台能够临时测定数据特征以采用更优的计算 方案，针对JOIN这种被研究得很透的运算有可能做到，但更复杂的情况就不一定了。

另外，透明化体系一般都会有一个较复杂的框架来控制数据分布及实现任务调度，这个事并不简单，本身也会消耗很多资源，而如果不搞透明化或透明化程度较弱时，则可以把这些资源本用到计算上。比如容错机制，节点机可能有故障，集群体系要能在故障机数量不多时保证计算仍然可以进行下去，这需要重新设计数据的冗余方案，要求高时还要及时保存中间结果。

一定程度地牺牲透明化，可以换来更高的性能。数据存储可以直接使用节点机的文件系统，程序员可以根据运算的特征以及节点的能力来决定数据的分布以及冗余方案，对应用层并不提供一个统一的网络文件系统。任务分配也由程序员自行处理，也是根据运算特殊及数据分布以及节点能力来安排任务，养活框架消耗，将尽量多的资源都用到计算任务本身上。

原文链接