kafka集群安装

0、运维添加机器到堡垒机、push用户、挂盘（/data*）、创建目录（push用户权限 /web/push/）

1、上传kafka安装包
kafka_2.11-0.11.0.0.tgz
cd /web/push/ && sudo -u push rz -bey

2、解压（/web/push/kafka并且cd进入目录）
sudo -u push tar -zxvf kafka_2.11-0.11.0.0.tgz && cd kafka_2.11-0.11.0.0

3、修改配置config/server.properties

host.name=10.12.156.10   （不同机器IP不同）
broker.id=10   （这个ID可以取IP尾数，不同机器不同）
delete.topic.enable=true
num.network.threads=9
num.io.threads=24
log.dirs=/data1/kafka
num.partitions=18
offsets.topic.replication.factor=3
log.retention.hours=72
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=100000
zookeeper.connect=10.12.94.6:2181,10.12.94.11:2181,10.12.94.30:2181/kafka-push-trace    (如果共用现有zk，需要使用新的namespace 更改 kafka-push-trace)

4、修改启动脚本bin/kafka-server-start.sh
export KAFKA_HEAP_OPTS="-Xmx16G -Xms16G"

5、启动kafka
sudo -u push JMX_PORT=9999 bin/kafka-server-start.sh -daemon ./config/server.properties

6、停止kafka
sudo -u push bin/kafka-server-stop.sh

7、配置kafka-manager

重置消费者消费点
停掉所有消费者，然后执行下面语句

./kafka-consumer-groups.sh --bootstrap-server 10.1.10.85:9092,10.1.10.108:9092,10.1.10.124:9092 --group push-inbox-del-stat --reset-offsets --topic push_asy_del_stat --to-offset 1314468917 --execute  

检索某个topic的消息内容

./kafka-console-consumer.sh --bootstrap-server 10.6.36.4:9092 --topic push_asy_del_stat_v2 --partition 0 --max-messages 100000000000 --offset 	1668120708 | grep ""