亿级电商实时数据分析平台构建实战

在大数据分析领域中，传统的大数据分析需要不同框架和技术组合才能达到最终的效果，在人力成本，技术能力和硬件成本上以及维护成本让大数据分析变得成为昂贵的事情。让很多中小型企业非常苦恼，不得不被迫租赁第三方大型公司的数据分析服务。 

在这个数据爆发的时代,像大型电商的数据量达到百亿级别，我们往往无法对海量的明细数据做进一步层次的预聚合，大量的业务数据都是好几亿数据关联，并且我们需要聚合结果能在秒级返回。 

那么我们该如何实现这一需求呢？电商数据的采集，特别是大量级高并发的采集主流电商平台API接口，我们需要接入封装好的电商API数据采集接口。

1. 参数说明

   • 通用参数说明
     • 参数不要乱传，否则不管成功失败都会扣费
     • url说明 ……/平台/API类型/ 平台：淘宝，京东等， API类型:[item_search,item_get,item_search_shop等]
     • version:API版本
     • key:调用key,测试key:test_api_key
     • secret:调用secret,测试secret:(不用填写)
     • cache:[yes,no]默认yes，将调用缓存的数据，速度比较快
     • result_type:[json,xml