
kafka
我是60岁程序员
比你优秀的人还在奔跑,我为什么要停下来
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
kafka最全组件详解
(1)producer:消息生产者,发布消息到 kafka 集群的终端或服务。 (2)broker:kafka 集群中包含的服务器。(kafka实例) (3)topic:每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。 (4)partition: a)partition 是物理上的概念,每个 topic 包含一个或多个 partition。kafka 分配的单...原创 2020-03-19 10:54:29 · 2078 阅读 · 0 评论 -
Kafka部署方式
单节点单Broker部署方式 1.部署kafka要用到zookeper,所以要先装zookeeper 2.安装zk解压之后,修改zoo.cfg的dataDir,由于tmp是临时目录,换个目录即可 3.启动zk, ./zkServer.sh start 4.安装Kafka =》0.9.0 版本 =》scala2.11 配置环境变量 5.配置$KAFKA_HOME/config/server....原创 2018-10-11 17:34:04 · 493 阅读 · 0 评论 -
整合flume和kafka
技术选型: exec source + memory channel + avro sink avro source + memory channel + kafka sink name:exec-memory-avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = exec a1.source...原创 2018-10-11 17:40:36 · 136 阅读 · 0 评论 -
SparkStreaming整合Kafka--Receiver方式
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org...原创 2018-10-12 17:50:12 · 235 阅读 · 0 评论 -
SparkStreaming整合Kafka--Direct方式
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/mave...原创 2018-10-12 17:52:54 · 373 阅读 · 0 评论