mhbsoft的博客

// 创建public static void createTopic(TopicBean topicBean, ZkBean zkBean) { String[] options = new String[]{ "--create", "--zookeeper", zkBean.getZkList(), // zk地址 "--partitions", topicBean.ge

配置类： ProducerClientConfig.javapublic class ProducerClientConfig { public static String brokerList = "broker的Ip:7072"; // broker的ip:端口 public static String topic = "topic"; // topic名称 public static String transactionId = "transactional-0";

public static void addTopicPartitions() throws ExecutionException, InterruptedException { Properties properties = initConfig(); AdminClient client = AdminClient.create(properties); // 修改为3个分区，分区数量只能增加，不能减小 NewPartitions newPartiti

KafkaConsuerMain.javapublic class KafkaConsuerMain { private static final String brokerList = "xxx:xxx"; private static final String topic = "Topic5"; private static final String groupId = "group.rrr"; public static void main( String[] a

1. kafka kafka-run-class.sh 修改[mhbtest@localhost kafka_2.11-1.0.1]$ vim bin/kafka-run-class.sh if [ $# -lt 1 ];then echo "USAGE: $0 [-daemon] [-name servicename] [-loggc] classname [opts]" exit 1fi# start 添加KAFKA_DEBUG=trueJAVA_DEBUG_PORT="5566

安装scala需要三个变量：SCALA_HOME、Path、ClassPathSCALA_HOME = D:\scalaPath = D:\scala\binClassPath = .;%SCALA_HOME%\bin;%SCALA_HOME%\lib\dt.jar;%SCALA_HOME%\lib\tools.jar.;注意win10不能识别相对路径，如果Path = %SCALA_HOME%\bin，则会报错scala不是内部或外部的命令。我们只需把路径改为绝对路径即可。在cmd中输入sca

bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list

事务型 Producer 能够保证将消息原子性地写入到多个分区中。这批消息要么全部写入成功，要么全部失败。另外，事务型 Producer 也不惧进程的重启。Producer 重启回来后，Kafka 依然保证它们发送消息的精确一次处理。设置事务型 Producer 的方法也很简单，满足两个要求即可：和幂等性 Producer 一样，开启 enable.idempotence = true。设置 Producer 端参数 transctional. id。最好为其设置一个有意义的名字。此外，你还需要在

幂等性 Producer在 Kafka 中，Producer 默认不是幂等性的，但我们可以创建幂等性 Producer。它其实是 0.11.0.0 版本引入的新功能。在此之前，Kafka 向分区发送数据时，可能会出现同一条消息被发送了多次，导致消息重复的情况。在 0.11 之后，指定 Producer 幂等性的方法很简单，仅需要设置一个参数即可，即 props.put(“enable.idempotence”,ture)，或在命令式编程语言（比如 C）中，若一个子程序是幂等的，那它必然不能

[root@kafkasitapp240 kafka_2.11-1.1.1]# bin/kafka-consumer-groups.sh --zookeeper 【zk的ip】:2181 --list

Kafka常用命令收录目录前言 2Broker默认端口号 2安装Kafka 2启动Kafka 2创建Topic 2列出所有Topic 3删除Topic 3查看Topic 3增加topic的partition数 4生产消息 4消费消息 4查看有哪些消费者Group 4查看新消费者详情 5查看Group详情 5删除Group 5设置consumer group的of...

原因：查看 这个 topic 有几个 partition （分区），如果只有2个partition，那么就只有2他配置消费者的机器可以进行消费。

private Future<RecordMetadata> doSend(ProducerRecord<K, V> record, Callback callback) { TopicPartition tp = null; try { // first make sure the metadata for the ...

一般的复制拷贝关系

offset 有 group + topic + partition 确定唯一一个offset。

kafka有两种分配策略，一是RoundRobin（消费者组），一是 Range（主题 Topic）。默认 Range 策略。RoundRobin 面向消费者组 差距为1，不可能完全平均。Range 面向主题topic，多个topic的情况不均衡。...

ack： 0 不做重试 只负责发送数据不接受返回值ack： 1 leader 收到以后接受返回值ack： -1 保证所有partition接收数据 接受返回值 （isr 多余2个的时候不会丢数据，可能重复数据）isr：HW 所有副本中最小的LEO LEO 每个副本的最后一个offset...

消息队列作用：

1个partition只能被同组的一个consumer消费，同组的consumer则起到均衡效果消费者多于partitiontopic： test 只有一个partition创建一个topic——testbin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 ...

1. 修改Kafka安装目录下bin中kafka-run-class.sh 文件：[root@localhost kafka-02]# vi bin/kafka-run-class.sh...# JMX settingsif [ -z "$KAFKA_JMX_OPTS" ]; then KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dc...

connect 中 有两个重要概念， task 与 workertask：负责将数据移入或移出 kafkaworker： 相当于connecter 和任务的容器，用于负责管理连接器的配置，启动连接器和连接器任务，提供 rest api。转换器： kafka connect 和其它存储系统直接发送或者接受数据之间转换数据。# Licensed to the Apache Software F...

查看消费组：[root@localhost kafka_2.12-2.2.1]# bin/kafka-consumer-groups.sh --bootstrap-server 192.168.131.130:9092 --listgroup.demogroup.heilu[root@localhost kafka_2.12-2.2.1]#

创建 topic[root@localhost kafka_2.12-2.2.1]# bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic heilu --partitions 2 --replication-factor 1 // 创建 topic 命令Created topic heilu.查看 top...

KafkaContext.javapublic class KafkaContext { public static String brokerList = "192.168.131.130:9092"; public static String topic = "heilu"; public static String groupId = "group.heilu";...

CheckOffsetAndCommit.javapublic class CheckOffsetAndCommit { private static final String brokerList = "192.168.131.130:9092"; private static final String topic = "heilu"; private static f...

ProducerInterceptorPrefix.java/** * 自定义拦截器 */public class ProducerInterceptorPrefix implements ProducerInterceptor { private volatile long sendSuccess = 0; private volatile long sendFailur...

ProducerFastStart.javapublic class ProducerFastStart { private static final String brokerList = "192.168.131.129:9092"; private static final String topic = "heilu"; public static void ma...

关于VMware问题

消费端[root@localhost kafka_2.12-2.2.1]# lsbin config libs LICENSE logs NOTICE site-docs[root@localhost kafka_2.12-2.2.1]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic...

创建topic命令：bin/kafka-toipics.sh --zookeeper localhost:2181 --create --topic heima --partitions 2 --replication-factor 1解释：--zookeeper： 指定了kafka所连接的zookeeper服务地址--toipic： 指定了所要创建的主题的名称--partitions...

# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information regarding copyright ...

在启动虚拟机时，会出现VMware版本过低，需要更新版本问题。解决：1.根据配置文件路径找到对应的.vmx文件：2.用编辑器打开，找到vmci0.present = “TRUE”一项：3.将该项修改为：vmci0.present = “FALSE”。...

安装zk1、下载使用zk https://www.apache.org/dyn/closer.cgi/zookeeper/2、解压并进入ZooKeeper目录，笔者：D:\zookeeper-3.4.14\conf3、将“zoo_sample.cfg”重命名为“zoo.cfg”4、打开“zoo.cfg”找到并编辑dataDir=D:\\zookeeper-3.4.14\\zkData...

1.启动 zookeeper 服务。目录：D:\zookeeper-3.4.14\bin 直接双击启动成功后做后续操作。2.配置 kafka 直接上图3.配置 生产者。4.配置消费者。5.删除所有log日志，zkData 中的日志，tmp中的日志。server.propertieslog.dirs=D:/tmp/kafka-logszoo.cfgdataDir=D...

直接开始：1.设置 aliyun 代理 build.gradlebuildscript { repositories { // mavenCentral() //原有注释 //新增 maven{ url 'http://maven.aliyun.com/nexus/content/groups/public/'} jcenter() }}allprojec...