kafka
关注
分享
扫一扫
文章平均质量分 63
沐宇熙
..........................
展开
-
kafka-kafka.common.errors.RecordTooLargeException，kafka.common.MessageSizeTooLargeException
1、向Kafka中输入数据，抛异常WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.apache.kafka.common.errors.RecordTooLargeException官网两个参数描述如下：messag...转载 2018-08-06 10:02:31 · 5024 阅读 · 0 评论 -
kafka-03 kafka的配置文件详细描述
kafka/config目录下有以下几个文件：producer.properties:生产端的配置文件#指定kafka节点列表，用于获取metadata，不必全部指定#需要kafka的服务器地址，来获取每一个topic的分片数等元数据信息。metadata.broker.list=192.168.2.100:9092,192.168.2.101:9092,192.168.2.10...原创 2018-08-06 10:12:22 · 361 阅读 · 0 评论 -
kafka无法后台运行问题解决
今天启动kafka的时候，发现一个问题，启动脚本 bin/kafka-server-start.sh config/server.properties &启动后关闭交互窗口kafka进程会死掉，找了网上一些办法例如：sh kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&...原创 2018-08-06 10:19:20 · 6203 阅读 · 2 评论 -
kafka-01 Kafka简介
Kafka是一种高吞吐量的分布式发布订阅消息系统，使用Scala编写。 对于熟悉JMS（Java Message Service）规范的同学来说，消息系统已经不是什么新概念了(例如ActiveMQ，RabbitMQ等)。 Kafka拥有作为一个消息系统应该具备的功能，但是确有着独特的设计。可以这样来说，Kafka借鉴了JMS规范的思想，但是确并没有完全遵循JMS规范。 kafka是一个分...原创 2018-08-03 10:38:01 · 603 阅读 · 0 评论 -
kafka-02 kafka集群搭建与使用
安装前的环境准备由于Kafka是用Scala语言开发的，运行在JVM上，因此在安装Kafka之前需要先安装JDK。# yum install java-1.8.0-openjdk* -ykafka依赖zookeeper，所以需要先安装zookeeper# wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zooke...原创 2018-08-03 11:00:07 · 18115 阅读 · 0 评论 -
kafka-04 borker(0.9.0及0.10.0)配置
Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet，它包含了日志数据以及OffsetIndex对象，该对象使用位移来读取日志数据 borker配置就是指配置server.properties文件 最小配置通常情况下需要在减压缩kafka后，修改config/server.properties 配置文件中的以下两项log.di...原创 2018-08-14 10:11:37 · 849 阅读 · 0 评论