Kafka
关注
分享
扫一扫
CleoL
这个作者很懒，什么都没留下…
展开
-
kafka进程不存在查看日志报错
kafka进程不存在查看日志报如下错误信息原因：日志保留时间设置的太小，日志被清解决：修改kafka配置文件server.properties中log.retention.hours的值，调整为96或更大数值...原创 2018-07-22 20:04:16 · 4775 阅读 · 0 评论 -
kafka常用参数说明
broker.id=0#唯一标识在集群中的ID，要求是正数。port=9092 #服务端口，默认9092host.name=debugo01#监听地址，不设为所有地址num.network.threads=2# 处理网络请求的最大线程数num.io.threads=8#处理磁盘I/O的线程数num.partitions=2#每个topic的分区个数，更多的partition会产...原创 2018-07-22 20:05:22 · 395 阅读 · 0 评论 -
kafka分区无leader
产生原因：kafka分区无leader解决方案：1、重启Icop-Rice2、或重启kafka服务原创 2018-07-23 09:28:10 · 2301 阅读 · 0 评论 -
Kafka Shell基本命令（包括topic的增删改查）
创建kafka topicbin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数partitions分区数: pa...原创 2018-08-10 14:27:14 · 1603 阅读 · 0 评论 -
server.properties各参数项说明
default.replication.factor=2，节点的一半 默认副本数num.partition=8 节点数的2/4/6/8倍 分区数num.replica.fetchers =节点数 同步进程数auto.create.topics.enable=true 自动创建topicdelete.topic.enable=true 物理删除topic...原创 2018-08-10 14:29:50 · 2920 阅读 · 0 评论 -
Kafka报错：Couldn't find leaders for Set
程序从Kafka读数据的程序运行期间报了如下异常：org.apache.spark.SparkException: ArrayBuffer(org.apache.spark.SparkException: Couldn't find leaders for Set这个异常意思是程序找不到partition的Leader。查看监控后发现，在异常发生的时间点，有一个Broker挂掉了。可是对应...原创 2018-08-10 14:34:11 · 3591 阅读 · 3 评论 -
kafka彻底删除topic
如果只是用kafka-topics.sh的delete命令删除topic，会有两种情况：如果当前topic没有使用过即没有传输过信息：可以彻底删除 如果当前topic有使用过即有过传输过信息：并没有真正删除topic只是把这个topic标记为删除（marked for deletion）。要彻底把情况2中的topic删除必须把kafka中与当前topic相关的数据目录和zookeeper与...原创 2018-08-10 14:35:14 · 295 阅读 · 0 评论