zhaoguowei的博客

一、kafka默认的发送一条消息的大小是1M，如果不配置，当发送的消息大于1M是，就会报错[2018-07-03 14:49:38,411] ERROR Error when sending message to topic testTopic with key: null, value: 2095476 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)org.apache.kafka

SparkStream整合Flume&Kafka打造通用的流处理平台整个流程如图所示：使用下面这段简单的代码模拟日志产生：import org.apache.log4j.Logger;/** * Created by Zhaogw&Lss on 2019/11/27. */public class LoggerGenerator { private sta...

Kafka整合SparkStream两种方式官网http://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html方式1：基于receiver based的实现1.1 kafka zookeeper环境测试1.1.1.先启动kafka，需要先启动zkcd $ZK_HOME/bin./zkServer.sh s...

本篇文章将在Apache Flume介绍和使用案例三这篇文章的基础上将logger sink修改为kafka sink(即整合flume到kafka完成实时数据的采集)大体流程如图所示：将配置文件：avro-memory-logger.confavro-memory-logger.sources = avro-sourceavro-memory-logger.sinks = logger...

java客户端连接到kafka出现kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.下午自己在java客户端连接到kafka，然后就出现了这个错误。按照网上的说法，修改各种配置文件都未能解决。最后重启了Zookeeper和Kafka解决了思考与建议：因为这个是不能连接到Kafka的...

1. 查看topic信息(“副本”是为该分区复制日志的节点列表，无论它们是引导者还是当前处于活动状态，“ isr”是“同步”副本的集合。这是副本列表的子集，当前仍处于活动状态并追随领导者。)[hadoop@hadoop000 tmp]$ kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic my-replicated-topi...

Kafka单节点多broker的部署方式（部署之前保证单节点部署成功）参考官网复制配置文件cp server.properties server-1.propertiescp server.properties server-2.propertiescp server.properties server-3.properties修改配置文件#vi server-1.pr...

kafka概述详见：http://kafka.apache.org/introKafka架构：producer：生产者，就是生产馒头（老妈）cunsumer：消费者，吃馒头（你）broker：篮子topic：主题，给馒头带一个标签，topic a是给你吃的，topic b 是给你弟弟吃的Kafka部署以及使用本文主要讲Kafka单节点部署和使用参考http://kafka.apa...

kafka基础核心概念下面介绍Kafka相关概念,以便运行下面实例的同时，更好地理解Kafka.BrokerKafka集群包含一个或多个服务器，这种服务器被称为brokerTopic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生...