
Bigdata message
独行夏
这个作者很懒,什么都没留下…
展开
-
hadoop Spark源码编译所需要的环境
一.Hadoop源码编译1.检查并安装gcc*2.安装Maven3.安装ProtocolBuffer4.安装Cmake5.安装Zlib6.安装Openssl7.安装Snappy8.编译Hadoop9.本地库检测10.Hadoop配置Snappy压缩二.Spark源码编译1.Spark版本选择2.在线安装Git(root)用户下3.创建一个目录克隆Spark源代码4.切换Sp原创 2017-03-23 16:56:39 · 637 阅读 · 0 评论 -
大数据平台Lambda架构详解
Lambda架构由Storm的作者Nathan Marz提出。 旨在设计出一个能满足实时大数据系统关键特性的架构,具有高容错、低延时和可扩展等特性 。 Lambda架构整合离线计算和实时计算,融合不可变(Immutability),读写分离和复杂性隔离等一系列架构原则,可集成Hadoop,Kafka,Storm,Spark,HBase等各类大数据组件。 Lambda架构的主要思想就是原创 2017-05-06 16:41:59 · 10533 阅读 · 4 评论