kafka满五替换

已于 2022-09-02 18:14:13 修改
阅读量920 收藏
点赞数 1
文章标签： kafka java 分布式
于 2022-09-02 10:19:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44468025/article/details/126467251
版权

生产需求：
生产环境中kafka集群机器满了五年（或者更久）之后，服务器到达了寿命需要替换。将用了超过五年的服务进行下线处理。
方案一：使用kafka-reassign-partitions.sh重分配指令。但缺点是导致再topic充分配的时候导致生产和消费端产生异常，所以不采用。
方案二：先扩副本(之前已经做了扩集群，可以将下线的机器上的topic全部迁移到扩的集群中)，再下线机器，再所副本，这样对生产和消费端做到无感知。所以采用方案二。

本篇文章详细讲解方案二的策略：
在这里插入图片描述

topic-lists.txt : 该文件是用来填写需要迁移的主题名称，主要有两种模式：
1、值为all，代表对集群中所有的主题执行迁移操作，但是脚本里面会判断，当主题中所有的副本都不在下线节点中的话，则不会进行迁移
2、值为主题名，每个主题占一行，对指定主题进行迁移
topic-replica-change.sh ：该脚本是主脚本，主要有3个参数
参数1: 有两种类型的值，Add和Del，其中add代表在现有副本中扩副本，所扩副本数为所有分区的副本中，某个分区的副本在下线节点中个数最多的即为该主题所扩副本数；del代表删除副本中broker id为下线节点的broker对应的副本
参数2：所有非下线节点的broker id，用逗号分割
参数3：下线节点的broker id，用逗号分割
/bin/bash topic-replica-change.sh Add 0,1,2 3 #这是扩容调用的脚本
/bin/bash topic-replica-change.sh Del 0,1,2 3 #这是缩容调用的脚本
扩容脚本执行过程中产生的文件：
主题名.txt : 主题扩容前对应的describe信息
主题名-to-move-add.json : 主题副本扩容生成的对应的执行计划
move-result.txt : 主题副本重分配结果
缩容脚本执行过程中产生的文件：
【注意】下线缩容，为避免迁移过程中leader切换影响业务，必须采用先下线节点，后进行缩容操作
主题名.txt : 主题缩容前对应的describe信息
主题名-to-move-del.json : 主题副本缩容生成的对应的执行计划
move-result.txt : 主题副本重分配结果

topic-lists.txt
1、值为all，代表对集群中所有的主题执行迁移操作，但是脚本里面会判断，当主题中所有的副本都不在下线节点中的话，则不会进行迁移
2、值为主题名，每个主题占一行，对指定主题进行迁移

all

topic-replica-change.sh

#!/bin/sh
SHELL_NAME=$(echo $0)
SHELLDIR=$(cd $(dirname $0);echo $(pwd);cd - >/dev/null)
TOPIC_FILE=${SHELLDIR}/topic-lists.txt
ZK_URL="localhost:2181/kafka"
KAFKA_DIR="/home/software/kafka_2.11-0.11.0.0/bin"
TOPIC_LIST="${KAFKA_DIR}/kafka-topics.sh --zookeeper ${ZK_URL} --list"
TOPIC_DESCRIBE="${KAFKA_DIR}/kafka-topics.sh --zookeeper ${ZK_URL} --describe --topic "
REASSIGN_EXECUTE="${KAFKA_DIR}/kafka-reassign-partitions.sh --zookeeper ${ZK_URL} --execute --reassignment-json-file "
REASSIGN_VERIFY="${KAFKA_DIR}/kafka-reassign-partitions.sh --zookeeper ${ZK_URL} --verify --reassignment-json-file "
OPERATION=$1
ONLINE_BROKER=$2
OFFLINE_BROKER=$3
echo $SHELL_NAME
echo $SHELLDIR
echo $ONLINE_BROKER
echo $OFFLINE_BROKER

usage() {
  	cat << EOF
	Usage: /bin/bash ${SHELL_NAME} [-degv] argument
	示例如下：
		扩容调用的脚本:/bin/bash  topic-replica-change.sh Add 10000,10001 10002 60  #扩容调用的脚本
		缩容调用的脚本:/bin/bash  topic-replica-change.sh Del 10000,10001 10002 60  #这是缩容调用的脚本
		参数1: 有两种类型的值，Add和Del
			Add代表在现有副本中扩副本，所扩副本数为所有分区的副本中，某个分区的副本在下线节点中个数最多的即为该主题所扩副本数；
			Del代表删除副本中broker id为下线节点的broker对应的副本。
		参数2：所有非下线节点的broker id，用逗号分割
		参数3：下线节点的broker id，用逗号分割
EOF
}

verify_plan(){
    local topic=$1
    move_res=`${REASSIGN_VERIFY}${topic}"-to-move-${OPERATION}.json" | grep "in progress" | wc -l`
	while [[ ${move_res} -ne 0 ]] ;do
		sleep 5s
		echo -e " ${topic} reassignment is still in progress,please wait!\n   ${move_res} partitions is still in progress\n"
		verify_plan $topic
	done 
}

execute_plan(){
    local topic=$1
    echo "start execute plan of ${topic}-to-move-${OPERATION}.json"
    ${REASSIGN_EXECUTE}${topic}"-to-move-${OPERATION}.json"
    if [ $? -eq 0 ]; then
        echo "success execute plan of $topic"
        verify_plan $topic
		echo "${topic} move success,operation is ${OPERATION}" | tee -a move-result.txt
    else
        echo "execute plan of $topic failed"
    fi    
}

#get topic lists
get_topic_lists(){
    topic_lists=`${TOPIC_LIST}`
    for topic in $topic_lists 
    do
	    #过滤掉__consumer_offsets主题名字的topic，这个topic是记录消费者的offset的
        if [ $topic != "__consumer_offsets" ]; then
		    #-e 参数是激活转义字符 \n换行
	        echo -e "\n${topic}"
            process_topic $topic
        fi
    done
}


process_topic(){
    local countNoLeader=0 
    local countReplicasIsrNoEqual=0 
    local countLteOneBak=0   
    local topic=$1
    echo "Beginning check Topic=${topic} Status:"
    line="${TOPIC_DESCRIBE}${topic}"
    countNoLeader=`${line} | egrep "\-1|none"  |wc -l`
    echo "${topic}的分区中没有leader的个数为${countNoLeader}"
    countLteOneBak=`${line}| grep "ReplicationFactor" |  awk '{match($0,/ReplicationFactor:([^[:blank:]]*)/,arr);print arr[1]}'`
    echo "${topic}的副本个数为${countLteOneBak}"
    num=`${line} | grep -o "Topic" | wc -l`
    echo "${topic}的分区个数为${num}"
    NUMOFFLINE=`echo ${OFFLINE_BROKER}|grep -o ","|wc -l`
    echo $(${line}|grep "Leader:"| awk '{match($0,/Replicas: ([^[:blank:]]*).*Isr: ([^[:blank:]]*)/,arr);print arr[1],arr[2]}')
    
    while read -r LINE ;do 
    [[ "${OPERATION}" == "Add" ]] && [ $(echo ${LINE} | awk '{print $1}' | grep -o "," | wc -l) -ne $(echo ${LINE} | awk '{print $2}' |grep -o ","|wc -l) ] && ((countReplicasIsrNoEqual++));
    [[ "${OPERATION}" == "Del" ]] && [ $(echo ${LINE} | awk '{print $1}' | grep -o "," | wc -l)  -ne $(($(echo ${LINE} | awk '{print $2}' |grep -o ","|wc -l) + ${NUMOFFLINE} + 1 )) ] && ((countReplicasIsrNoEqual++));
    done < <( ${line}|grep "Leader:"| awk '{match($0,/Replicas: ([^[:blank:]]*).*Isr: ([^[:blank:]]*)/,arr);print arr[1],arr[2]}' )
    if [ "${countNoLeader}" -ne 0 ] ||  [[ "${countReplicasIsrNoEqual}" -ne 0 ]] || [ "1${countLteOneBak}" -eq "11" ] || [ "${num}" -lt 1 ] ; then
    echo "Topics has ExceptionStatus!"
    else
        echo "start process $topic"
        rm -rf "${topic}.txt"
        rm -rf "${topic}-to-move-${OPERATION}.json"
        echo `${line}`|sed '#\n##g' | tee -a "${topic}.txt"
        generate_plan ${topic}
    fi
}

generate_plan(){
    #在函数内定义局部变量。
    local topic=$1
    echo "start generate plan of $topic"
	#执行python脚本
    python ${SHELLDIR}/topicReplica${OPERATION}.py $topic $ONLINE_BROKER $OFFLINE_BROKER
    echo ${SHELLDIR}/topicReplica${OPERATION}.py 
   if [ ! -f "${topic}-to-move-${OPERATION}.json" ]; then
        echo "generate plan of $topic failed"
    else
        echo "success generate plan of $topic,plan file is ${topic}-to-move-${OPERATION}.json"
        execute_plan $topic
    fi
}

function doWork(){
    #遍历文件中所有topics
	while read -r LINE ;do 
		echo  "topic=${LINE}"
		process_topic ${LINE} 
	done < $TOPIC_FILE
}

main(){
    #- z 如果参数ONLINE_BROKER为空，或
	#-s "$TOPIC_FILE"如果文件存在且非空
	if [ -z "${ONLINE_BROKER}" ] || [ ! -s "$TOPIC_FILE" ];then
		echo "Please check params or $TOPIC_FILE "
        usage
        exit
	elif [ $(grep -c "^all$" $TOPIC_FILE) -gt 0 ] ;then
	    echo "start process all topic"
        get_topic_lists
	else
		case ${OPERATION} in
			-h)
				usage
				exit 1
				;;
			Add)
				doWork
				exit 1
				;;
			Del)
				doWork
				exit 1
				;;
			*)
				echo -e  "input error\n"
				usage
				exit 1
				;;
		esac
	fi
}
main

topicReplicaAdd.py

# coding:utf-8
import sys
import customlog as logger
import json
from random import randint


def get_str_btw(s, f, b):
    par = s.partition(f)
    return (par[2].partition(b))[0][:]


def read_topic_info(topic):
    path = "./" + topic + ".txt"
    with open(path, 'r') as f:
        info = f.readline()
    print("info" + info)
    partition_infos = info.split("Configs:")[1].split("Topic")
    topic_dic = {}
    for line in partition_infos:
        partition = get_str_btw(line, "Partition:", "Leader:").strip()
        replicas = get_str_btw(line, "Replicas:", "Isr:").strip().split(",")
        if partition != '':
            topic_dic[partition] = replicas
    return topic_dic


def get_max_replica(offline_broker, curr_relica):
    replica = [ i for i in offline_broker if i in curr_relica]
    return len(replica)


def get_usefull_broker(b1, b2):
    return [i for i in b1 if i not in b2]


def add_new_replicas(b1, b2, replica_str, num):
    usefull_online = get_usefull_broker(b1, b2)
    if len(usefull_online) == 0:
        logger.error("没有多余节点用来扩副本")
        sys.exit(1)
    used_lists = []
    for k in range(0, num):
        while True:
            random_index = randint(0, len(usefull_online)-1)
            if random_index not in used_lists:
                replica_str = replica_str + "," + usefull_online[random_index]
                used_lists.append(random_index)
                break
    return replica_str


def write_to_json(filepath,txt):
    with open(filepath,"w") as f:
        f.write(txt)


def get_new_replicas(topic_name, partition_replica, new_replica_num, online_broker, offline_broker):
    pars = len(partition_replica)
    js_str = """{"version":1,"partitions":["""
    for x in range(0, pars):
        replica_info = partition_replica[str(x)]
        print(replica_info)
        off_num = get_max_replica(offline_broker, replica_info)
        on_num = new_replica_num - off_num
        replica_news = ','.join(replica_info)
        if off_num != 0:
            replica_news = add_new_replicas(online_broker, replica_info, replica_news, off_num)
        if on_num != 0:
            replica_news = add_new_replicas(offline_broker, replica_info, replica_news, on_num)
        partition_str = """{"topic": "%s", "partition": %s,"replicas": [%s]}""" % (topic ,x ,replica_news)
        if x == pars -1:
            js_str = js_str + partition_str+"]}"
        else:
            js_str = js_str + partition_str+","
    write_to_json("./"+topic_name+"-to-move-Add.json",js_str)


if __name__ == '__main__':
    topic = sys.argv[1]
    print(topic+"topic")
    onlineBroker = sys.argv[2].split(",")
    offlineBroker = sys.argv[3].split(",")
    res = read_topic_info(topic)
    print("============================")
    partitions = len(res)
    # 获得主题新增最大副本数
    max_replica = 0
    for i in range(0, partitions):
        max_middle = get_max_replica(offlineBroker, res[str(i)])
        if max_replica < max_middle:
            max_replica = max_middle
    print("####################")
    print(max_replica)
    if max_replica == 0:
        logger.info("当前主题%s所有分区副本都不在下线节点上，故不需要迁移!" % topic)
        sys.exit(1)
    get_new_replicas(topic, res, max_replica, onlineBroker, offlineBroker)

topicReplicaDel.py

# coding:utf-8
import sys
import customlog as logger
import json
from random import randint


def get_str_btw(s, f, b):
    par = s.partition(f)
    return (par[2].partition(b))[0][:]


def write_to_json(filepath,txt):
    with open(filepath,"w") as f:
        f.write(txt)


def read_topic_info(topic):
    path = "./" + topic + ".txt"
    with open(path, 'r') as f:
        info = f.readline()
    if len(info) == 0:
        logger.info("主题%s信息文件对应的内容为空，请排查！" % topic)
        exit(1)
    # info.split()
    partition_infos = info.split("Configs:")[1].split("Topic")
    topic_dic = {}
    for line in partition_infos:
        partition = get_str_btw(line, "Partition:", "Leader:").strip()
        replicas = get_str_btw(line, "Replicas:", "Isr:").strip().split(",")
        if partition != '':
            topic_dic[partition] = replicas
    return topic_dic


def get_new_replicas(topic_name, partition_replica,offline_broker):
    pars = len(partition_replica)
    js_str = """{"version":1,"partitions":["""
    flag= "false"
    for i in range(0, pars):
        replica_info = partition_replica[str(i)]
        new_replica = []
        for broker in replica_info:
            if broker not in offline_broker:
                new_replica.append(broker)
            else:
                falg = "true"
        partition_str = """{"topic": "%s", "partition": %s,"replicas": [%s]}""" % (topic, i, ','.join(new_replica))
        if i == pars -1:
            js_str = js_str + partition_str+"]}"
        else:
            js_str = js_str + partition_str+","
    if flag == "true":
        logger.warn("该主题%s对应的所有副本都不在下线节点中,故不需要迁移！" % topic_name)
        sys.exit(1)
    write_to_json("./"+topic_name+"-to-move-Del.json", js_str)


if __name__ == "__main__":
    topic = sys.argv[1]
    offlineBroker = sys.argv[3].split(",")
    res = read_topic_info(topic)
    get_new_replicas(topic,res,offlineBroker)

customlog.py
这个文件是将日志打印到installlog中，这个目录在执行脚本的上一个目录。

import os
import datetime

log_path = '%s/../installlog' % os.path.dirname(__file__)
if not os.path.exists(log_path):
    os.mkdir(log_path)
log_file = '%s/install.log' % log_path

def info(msg):
    log(msg, 'INFO')

def warn(msg):
    log(msg, 'WARN')

def error(msg):
    log(msg, 'ERROR')

def log(msg, level):
    log_msg = '%s %s: %s' % (datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'), level, msg)
    print(log_msg)

    with open(log_file, 'a') as f:
        f.write('%s\n' % log_msg)

测试过程展示

1.观察跑扩容脚本前所有topic的分区和副本分布情况：
在这里插入图片描述
2.执行扩容脚本：/bin/bash topic-replica-change.sh Add 0,1,2 3
3.观察跑扩容脚本后所有topic的分区和副本分布情况
在这里插入图片描述
4.下线borkerId=3的机器
5.观察下线机器后所有topic的分区和副本分布情况
在这里插入图片描述
6.执行缩容脚本：/bin/bash topic-replica-change.sh Del 0,1,2 3

7.观察跑缩容脚本后所有topic的分区和副本分布情况
在这里插入图片描述
此功能在正常吞吐量写入过程中，也不会影响集群的稳定性，也进行压力测试过。

工具脚本：

如果在测试环境有多个topic（几十几百个），可以用以下脚本将3副本以上的脚本恢复成3副本。
ReducedReplication2three.sh

#!/bin/bash

shopt -s expand_aliases
source /etc/profile
SHELLDIR=$(cd $(dirname $0);echo $(pwd);cd - >/dev/null)
ZKURL="localhost:2181/kafka"
TOPICSDESCRIBE="kafka-topics.sh --zookeeper ${ZKURL} --describe --topic"
LOGFILE="${SHELLDIR}/topics-to-move.json"
alias log='tee -a ${LOGFILE}'
kafka-topics.sh --zookeeper ${ZKURL} --describe |grep "ReplicationFactor"|awk -F '[:\t]' '{if($6>3) print $2}' >${SHELLDIR}/kafka_list.txt

echo '{"version":1,"partitions": ['>${SHELLDIR}/topics-to-move.json

for replicas in `cat ${SHELLDIR}/kafka_list.txt`
do
echo ${replicas}
( ${TOPICSDESCRIBE} ${replicas} | grep -v "^Topic" | awk '{match($0,/Topic: ([^[:blank:]]*).*Partition: ([^ ]*).*Leader: ([^ ]*).*Replicas: ([^ ]*).*Isr: ([^[:blank:]]*)/,arr); print "{\"topic\": \""arr[1]"\", \"partition\": "int(arr[2])", \"replicas\": ["substr(arr[5],1,5)"]},"}' ) |log
done


sed -i ':lable;N;s/\n//;b lable' ${SHELLDIR}/topics-to-move.json
sed -i -e '$s/,$/]}/' ${SHELLDIR}/topics-to-move.json
sh /home/software/kafka_2.11-0.11.0.0/bin/kafka-reassign-partitions.sh --zookeeper localhost:2181/kafka  --execute --reassignment-json-file /home/sc/suofuben/topics-to-move.json

注意：1.文中/home/software/kafka_2.11-0.11.0.0/bin/修改成自己的kafka的bin目录。
2.substr(arr[5],1,5)这个需要根据自己broker的长度进行切割。（原理是切割前面3个brokerId的长度）

Kafka系列之：把Kafka节点的普通磁盘升级为固态硬盘ssd的详细步骤
zhengzaifeidelushang的博客
10-30 113
磁盘条带划分是将一个文件或数据块分散存储在多个物理磁盘上的技术。它可以提高磁盘的性能和吞吐量。这是一个rsync命令的示例，用于将源目录（/src）中的文件和文件夹同步到目标目录（/dst）。
Doris 数据集成 Kafka
最新发布
04-26 7万+
这是我们Doris 数据集成篇的第二篇，前面我们介绍过通过 Catalog进行集成的例子目前公司的很多数据服务都开始使用Doris 了，目前使用下来感觉还是很方便的，比起Hadoop 那一套少了很多运维的成本，而且整体的效率也不错，现在也要把ELK 那一套日志分析的替换掉，后面日志分析也走Doris。关于如何使用Doris做日志分析，可以参考之前的文章，不过第一步也不是日志分析，而是如何对接Kafka ，因为目前日志数据是在kafka 里的，这里我调研了一下使用Flink 和 Doris 的。
Kafka的broker替补替换测试
Devon_musa
09-19 2413
Kafka的broker替补替换测试 测试场景 1）  准备四台服务器A,B,C,D，并在A,B,C分别启动kafka的broker服务，brokerid分别为 53,67,87，D服务器暂不做配置 2）  创建topictestBrokerChange，Recotor为2，partition为1的topic为test（假如：topic在A,B上） 3）  向test发送消息。 4） 
Kafka第三章：新旧节点更替
weixin_50835854的博客
02-20 1044
这次博客，我们学习一下Kafka新旧节点的更替，比如一些硬件老化或者更新换代，如何添加新节点，如何去除旧节点这一次，Kafka新旧节点更换，暂时就到这里。
Oracle 分区分表
qq_16298769的博客
11-02 340
参考URL:https://www.jb51.net/article/136001.htm Oracle分区分表条件： 1.当表超过2GB时 2.历史数据存放在旧分区，新增记录存放到新增分区 分类： 1.范围分区 2.列表分区 3.hash分区 4.间隔分区 对索引的处理： 1.locall 2.global ...
kafka 重新分配节点_Kafka扩容节点和分区迁移
weixin_35583709的博客
01-14 1163
背景最近工作中碰到Kafka 节点的网卡成为了性能瓶颈，为了提高整个消息队列的输出吞吐量，需要将数据量大的Topic 迁移到新的Kafka节点上。操作步骤1. 新建Kafka 节点通过CDH 管理界面在新机器上安装Kafka 服务，并得到相应的Kafka broker id。(假设为140, 141)2. 创建要迁移的Topic 列表查看所有的Topic$ cd /opt/cloudera/par...
Kafka节点变化怎么办？
Bright
04-14 2014
Kafka节点变化怎么办？
kafka的source替换,为|
05-25
要将Kafka的source替换为“|”，您需要在Kafka消费者代码中进行更改。具体地说，您需要使用Kafka消费者API（例如Java Kafka Consumer API）来读取Kafka主题中的消息，并将消息中的“source”字段替换为“|”，然后将...
visual studio2015 编译kafka v140
03-15
替换`<your_jdk_include_path>`和`<your_jdk_lib_path>`为实际的JDK头文件和库文件路径。 4. **生成解决方案**：CMake完成后，你应该会在`build_vs2015`目录下看到一个.sln文件。打开这个文件用Visual Studio 2015...
kafka 重新分配节点_kafka扩容节点和partitions迁移
weixin_30118803的博客
12-24 1012
kafka的扩容难点：1)主要在于增加机器之后，数据需要rebalance到新增的空闲节点，即把partitions迁移到空闲机器上。kafka提供了bin/kafka-reassign-partitions.sh工具，完成parttition的迁移。2)kafka的集群的数据量加大，数据rebalance的时间较长。解决办法是把log.retention.hours=1设置一小时(生产参数24小...
已有Kafka，可替换方案：Apache Pulsar
记事本
02-25 2623
已有Kafka，可替换方案：Apache Pulsar
Kafka 数据迁移(增加节点和减少节点均适用)
微步的博客
10-23 9386
当Kafka 减少Broker节点后，需要把数据分区迁移到其他节点上，以下将介绍我的一次迁移验证过程。 前3步为环境准备，实际数据操作看第4步即可 增加Broker节点，也可以采用步骤4相同的方法进行重新分区 方案思想：使用kafka-reassign-partitions命令，把partition重新分配到指定的Broker上 1、创建测试topic，具有3个分区，2个副本 k...
kafka如何扩容服务器、重新分区Partition
运维仙人
05-05 942
在新的物理机上安装kafka程序，修改config/server.properties文件里的broker.id必须在集群中唯一，修改其他必要的配置项，其中zookeeper.connect配置项，写上kafka集群现在使用的zookeeper集群的地址。但是新加入的机器只能对新产生的topic起作用，对已有的topic在没有做处理前，是不会承担任何任务的，所以不会分担集群的压力。将topic.json里的topic迁移到broker-list列表里列的broker上，会得到一个执行计划。
kafka新增节点时server.properties需要修改的地方
微电子学与固体电子学-俞驰
12-23 618
想删$KAFKA的logs结果不小心把$KAFAK给删了， 这就尴尬了 每个新节点需要修改的地方总共有6处 broker.id=1 listeners=PLAINTEXT://Desktop:9091 advertised.host.name=Desktop advertised.port=9091 advertised.listeners=PLAINTEXT://Desktop:9091 log.dirs=/home/appleyuchi/bigdata/kafka_2.12-2.5.0-1/lo
kafka 与zk
Chain的博客
07-10 529
（1）kafka中自带有一个zk，但是我又另外安装了一个zk怎么办呢 首先，他是不会冲突的，因为在使用kafka时，你可以自己决定使用哪个zookeeper。 自带的在kafa/bin下有个zookeeper-server-start.sh启动脚本 而另外安装的在zookeeper/bin/zkServer.sh start 即可启动 （2）Kafka 使用 Zookeeper 做什么？...
kafka新老集群切换经验
wj1298250240的博客
09-25 1013
老kafka 三台机器 新kafka 五台机器 方式一：把老kafka上的任务依次往新kafka上面迁移，在保障业务不中断的情况下，效率奇低 方法二（后面才反应过来）：把新的5台并入老的3台里面，待稳定后依次把老的集群踢出去，这种方式比较搞笑 ...
Kafka还能这样玩！Kafka集群分区迁移（节点下线）操作实战
qq_36588424的博客
11-02 1950
分区迁移 1、节点下线分区迁移 首先，执行以下命令创建一个主题。 kafka-topics.sh --create --zookeeper 172.20.10.3:2181,172.20.10.4:2181,172.20.10.5:2181 --replication-factor 1 --partitions 3 --topic reassign-partitions Created topic "reassign-partitions". 该主题分区副本分布情况如下： kafka-topics.sh
kafka问题集（三）ISR缺失
weixin_30344131的博客
03-04 850
仅个人实践所得，若是有误，欢迎指出。 一、场景 　　kafka集群中某一节点（N-10）的CPU利用率大于整个集群的平均水平，且达到报警值。使用top命令后台查看时发现是kafka服务导致CPU利用率高。在kafka界面查看topic，显示timeout ，使用以下命令查看集群中的topic发现consumer_offsets中有consumer_offsets-5分区的ISR仅剩一个，缺...
Kafka某节点挂掉如何解决
刘勇的博客
09-08 3368
Kafka某节点挂掉如何解决
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值