su_bao的博客

欢迎关注公众号——《数据三分钟》一线大厂的师兄师姐结合自己的工作实践，将数据知识浅显道来，每天三分钟，助你成为数据达人。还有面试指导和内推机会。摘要2019年10月，我作为项目经理参与了国内某著名品牌的大数据中台项目的建设，该项目投资共1500万人民币，建设周期为1年，通过该项目的建设，客户具备了数据采集、实时离线数据存储、数据计算处理，数...

欢迎关注公众号——《数据三分钟》一线大厂的师兄师姐结合自己的工作实践，将数据知识浅显道来，每天三分钟，助你成为数据达人。还有面试指导和内推机会。​ 传统的LAMDA架构取得了辉煌的成就，大大小小的公司几乎都以LAMDA为模版构建了自己的数据仓库，但是LAMDA架构的缺陷也一直被数据人诟病——由于实时链路和离线链路采用不同的计算引擎，在数据研发的过程中，不得不开发、维护两套代码，不仅开发成本高，而且得时刻保持口径的一致，不然就会造成严重的数据质量问题。在传统的LAMDA架构中，实时与离...

欢迎关注公众号——《数据三分钟》一线大厂的师兄师姐结合自己的工作实践，将数据知识浅显道来，每天三分钟，助你成为数据达人。还有面试指导和内推机会。​ 不管是实时数据，还是离线数据，总是避不开一个问题就是“数据存储”，我们知道实时数据和离线数据在本质上有很多不同，它们对存储介质的要求也是不同的，尤其是在大数据存储的情况下，它们对数据的存储介质提出了更高的要求，同时，结果表的写入和读取还要足够快速才能满足电商数据分析平台的数据展现要求。00 插一段历史 ...

欢迎关注公众号——《数据三分钟》一线大厂的师兄师姐结合自己的工作实践，将数据知识浅显道来，每天三分钟，助你成为数据达人。还有面试指导和内推机会。​01 why一个扩展性强，灵活性高的营销数据分析平台必然离不开科学的数据分层架构，数据在数仓中经过层层清洗梳理转换，最后在应用层支撑整个产品的数据服务。那么对于一个实时性要求很强的产品，它的数据分层应该是怎样的呢？实时数仓和离线数仓如何巧妙的结合实现各个域数据的一致性，这是构建电商营销数据分析平台不得不思考的一个问题。# 插一段历史汉武

转载自：http://lxw1234.com/archives/2016/11/779.htm第一章：初识Hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL第六章：一夫多妻制第七章：越来越多的分析任务第八章：我的数据要实时第九章：我的数据要对外第十章：牛逼高大上的机器学习...