zll_1234的博客

生产环境-数据仓库组件之Kafka（二）《性能优化》1、Heap Size的调整vim kafka-server-start.sh默认配置：KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"调整为：KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"推荐配置：一般HEAP SIZE的大小不超过主机内存的50%。vim server.properties(2-8都是在该文件配置)2、网络和ios操作线程配置优化：默认配置：broker处理消息的最大线程数num.

linux单机安装kafka一、关闭SELINUXvi /etc/selinux/config#SELINUX=enforcing #注释掉#SELINUXTYPE=targeted #注释掉SELINUX=disabled #增加:wq! #保存退出setenforce 0 #使配置立即生效二、配置关闭防火墙，开启9092端口启动一个服务：systemctl start firewalld.service关闭一个服务：systemctl stop firewalld.service

生产者类import java.util.Propertiesimport kafka.producer.{KeyedMessage, Producer, ProducerConfig}import scala.io.Sourceimport scala.reflect.io.Pathclass KafkaProducerScala(brokerList:String,topic...

1、查询kafka版本： find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'查询结果：kafka_2.10-0.10.2-kafka-2.2.0.jar2.10是scala的版本0.10.2是Kafka的版本2、进入Kafka安装目录，并进入bin目录：cd /opt/cloudera/parcels/KAFKA/b...