
大数据组件
songlllovescoding
这个作者很懒,什么都没留下…
展开
-
Azkaban(二):安装及3种模式部署
Azkaban理论篇,戳 一. 安装前准备 编译环境 yum -y install git yum -y install gcc-c++ 下载源码&&解压 wget https://github.com/azkaban/azkaban/archive/3.50.0.tar.gz mv 3.50.0.tar.gz azkaban-3.50.0.gz tar -zxvf azkaban-3.50.0.tar.gz 编译 cd azkaban3.40.0 ./gradlew buil原创 2020-05-30 23:48:38 · 396 阅读 · 0 评论 -
Kafka原理+安装+Linux命令及Java代码分别模拟实现生产者消费者+整合Spark Streaming+自主管理偏移量Offset-Redis/Mysql
Kafka 1.1 什么是Kafka Apache Kafka是分布式发布-订阅消息系统(消息中间件)。它是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 Kafka是一个分布式的、支持分区的(partition)、多副本(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:eg: 基于Had...原创 2019-02-26 15:15:12 · 391 阅读 · 0 评论