
kafka
SUISUIZHIBO
忍,忍到春暖花开
走,走到灯火通明
展开
-
Kafka简介
Kafka流媒体平台有三个关键功能:发布和订阅记录流,类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 记录发生时处理流。Kafka通常用于两大类应用:构建可在系统或应用程序之间可靠获取数据的实时流数据管道。 构建转换或响应数据流的实时流应用程序。下面介绍几个概念:Kafka作为一个集群运行在一个或多个可以跨多个数据中心的服务器上。 Kafka集群以...原创 2018-11-29 16:55:07 · 367 阅读 · 1 评论 -
Kafka安装与测试
下载去官网下载和scala版本一致的kafka,然后执行以下步骤:cd ~/下载tar -zxf kafka_2.11-2.1.0.tgz -C /usr/localsudo mv /usr/local/kafka_2.11-2.1.0.tgz /usr/local/kafkasudo chown -R hadoop /usr/local/kafka简单测试启动zooke...原创 2018-11-27 15:12:07 · 213 阅读 · 0 评论 -
Spark自学之路(十四)——Spark流计算
流计算处理过程传统的数据处理流程,需要先采集数据并存储在关系数据库等数据管理系统中,之后由用户通过查询操作和数据管理系统进行交互传统的数据处理流程隐含了两个前提: 存储的数据是旧的。存储的静态数据是过去某一时刻的快照,这些数据在查询时可能已不具备时效性了 需要用户主动发出查询来获取结果流计算的处理流程一般包含三个阶段:数据实时采集、数据实时计算、实时查询服务...原创 2018-11-27 19:59:33 · 2340 阅读 · 0 评论