qianchun22的博客

一、Kafka Stream 背景1、Kafka Stream 简介提供了对存储于Kafka内的树进行流式处理和分析的功能Kafka Stream的特点：Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署除了Kafka外，无任何外部依赖充分利用Kafka分区机制实现水平扩展和顺序性保证通过可容错的state store实现高效的状态操作（如windowed join和aggregation）支

案例一：利用Kafka流实现对输入数字的求和一、Kafka Java代码public class SumStream { public static void main(String[] args) { Properties prop = new Properties(); prop.put(StreamsConfig.APPLICATION_ID_CONFIG,"sumstream"); prop.put(StreamsConfig.BOOTST

案例一：简单的Kafka Stream API一、Kafka Java代码创建maven过程，导入以下依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>2.0.0</version></dependency><dependency> &

案例创建Topic[root@hadoop001 ~]# kafka-topics.sh --zookeeper 192.168.247.201:2181 --create --topic user_friends_raw --partitions 1 --replication-factor 1编写 userFriend-flume-kafka.confvi /opt/flume/conf/jobkb09/userFriend-flume-kafka.conf内容如下：user_frie

详情请参考以下文献内容：https://blog.youkuaiyun.com/u013256816/article/details/71091774

Consumer概要consumer中的关键术语：消费者(consumer)：从kafka中拉取数据并进行处理消费者组(consumer group)：一个消费者组由一个或者多个consumer实例组成位移(offset)：记录当前分区消费数据的位置位移提交(offset commit)：将消费完成的消息的最大offset提交确认位移topic(_consumer_offset)：保存消费位移的topic消费方式：（poll/push）Kafka Consumer采用的是主动拉取broker

1、Kafka的ProducerProducer就是用于向Kafka发送数据。如下：2、添加依赖：<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.0.0</version></dependency>3、发送消息3.1 启动kafka（Ka

Broker（缓存代理，Kafka集群中的一台或多台服务器统称broker.）启动kafka-server-start.sh -daemon /opt/lns/server.properties启动kafka命令加上–daemon，那么kafka会以守护进程的方式启动查看启动是否成功jps Topic1、创建队列–zookeeper指定zookeeper的地址和端口，–partitions指定partition的数量，–replication-factor指定数据副本的数量。kafk

Kafka安装配置流程1、解压安装包kafka_2.11-2.0.0.tgz至/opt/目录下,并重命名为kafkatar -zxvf kafka_2.11-2.0.0.tgz -C /opt/cd /opt/mv kafka_2.11-2.0.0/ kafka2、修改/opt/kafka/config目录下的配置文件server.propertiescd /opt/kafka/config/vi server.properties修改内容如下：broker.id=0advert