微溪

carbondata 安装文档 一、build CarbonData 由于CarbonData刚刚开源，目前官方文档不规范并且较少。 1、先决条件： OS: centos（类unix OS） Apache Maven（推荐版本3.3或更高版本） Oracle Java 7或8 Apache Thrift 0.9.3 以上条件缺一不可 2、git 下载carbondata,或者直接从

1、为什么要使用carbondata？ CarbonData支持完整的标准SQL支持，以及多种分析场景的支持,“一份数据支持多种使用场景”，例如大规模扫描和计算的批处理场景，OLAP多维交互式分析场景，明细数据即席查询，主键低时延点查，以及对实时数据的实时查询等场景主要概括为一下几种（1）支持海量数据扫描提取其中某些列；（2）支持根据主键进行查找的低于秒级响应；（3）支持海量数据进行交互式查询

carbondata 格式数据和Text 格式数据性能测试对比： 在数据量极少的情况下，Text的速度快于carbondata(数据量原因) 在数据两增加的情况下，carbondata的查询性能有明显的提升（3~7倍不等），具体情况见测试数据。 本测试测试的用例有限，性能评估还需更近一部测试。

Apache CarbonData是一种新的大数据文件格式，使用先进柱状存储，索引，压缩和编码技术实现更快速的交互式查询，以提高计算效率，将有助于加速查询超过PetaBytes数量级数据的速度。查询性能对比详细见carbondata 测试报告,安装文档详细见carbondata 安装文档 本文将介绍如何使用carbondata，以及如何编写一个carbondata 的saprk程序 一、在sp...