
——Kafka
文章平均质量分 93
Kafka是一种高吞吐量的分布式发布订阅消息系统.
脸ル粉嘟嘟
BigDate.我命由我!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
kafka的介绍
ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢? 流媒体平台有三个关键功能: 发布和订阅记录流,类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 记录发生时处理流。 Kafka通常用于两大类应用: 构建可在系统或应用程序之间可靠获取数据的实时流数据管道 构建转换或响应数据流的实时流应用程序 要了解Kafka如何做这些事情,让我们深入探讨Kafka的能......翻译 2018-11-21 22:15:50 · 701 阅读 · 0 评论 -
kafka使用说明书
首先要打开zookeeper,其次打开kafka,关闭时要先关闭kafka再关闭zookeeper 启动zookeeper zookeeper-server-start.sh config/zookeeper.properties 启动kafka kafka-server-start.sh config/server.properties 停止kafka kafka-server-...原创 2018-11-29 21:29:50 · 482 阅读 · 0 评论 -
Kafka部署
搭建环境 Zookeeper-3.4.6 Scala-2.11 Kafka_2.11-0.10.0.1. JDK-1.8 下载地址: Zookeeper: http://mirror.bit.edu.cn/apache/zookeeper/current/ Scala: http://www.scala-lang.org/download/2.11.8.html Kafka: http://ka...原创 2019-03-07 13:33:48 · 168 阅读 · 0 评论 -
kafka&&sparkstreaming整合入门之Wordcount
Kafka项目在版本0.8和0.10之间引入了一个新的消费者API,因此有两个单独的对应Spark Streaming包可用。请为您的代理选择正确的包和所需的特性;请注意,0.8集成与后来的0.9和0.10代理兼容,但是0.10集成与前面的代理不兼容。 一、代码 /** * @author Mr.lu * @Title: KafkaStreamingWordCount * @Pro...原创 2018-12-04 19:00:22 · 214 阅读 · 0 评论 -
kafka幂等producer
众所周知,Kafka 0.11.0.0版本正式支持精确一次处理语义(exactly once semantics,下称EOS)。Kafka的EOS主要体现在3个方面: 幂等producer:保证发送单个分区的消息只会发送一次,不会出现重复消息 事务(transaction):保证原子性地写入到多个分区,即写入到多个分区的消息要么全部成功,要么全部回滚 流处理EOS:流处理本...原创 2018-11-20 21:10:20 · 653 阅读 · 0 评论