
Kafka
文章平均质量分 81
jiecxy
Be good.
展开
-
Kafka:Broker Config 配置
Broker Configs配置文件config/server.properties 属性 描述 类型 默认值 broker.id 每一个broker在集群中的唯一表示,要求是正数 int -1 zookeeper.connect 指定zk连接,[hostname:port]以逗号分隔 string advertised.listeners 若原创 2016-11-29 10:38:13 · 3530 阅读 · 0 评论 -
Zookeeper+Kafka集群搭建
说明搭建zookeeper和Kafka集群: 本实验拥有3个节点,均为CentOS 7系统,分别对应IP为10.211.55.11、10.211.55.13、10.211.55.14,且均有相同用户名 (本实验为 jiecxy) 为了方便,先在三台节点上 /etc/hosts 文件内容均添加:10.211.55.11 master 10.211.55.13 worker1 10.211.55原创 2016-08-28 21:52:33 · 6838 阅读 · 1 评论 -
Sendfile & Zero-copy
1. 典型IO调用一个典型的IO调用过程如下:read(file, tmp_buf, len); write(socket, tmp_buf, len);首先调用read将文件从磁盘读取到tmp_buf,然后调用write将tmp_buf写入到socket,在这过程中会出现四次数据 copy,过程如下图: 当调用 read 系统调用时,通过DMA(Direct Memory Access)原创 2016-11-30 11:44:56 · 599 阅读 · 0 评论 -
Kafka:Producer Config 配置
Producer Configs 配置 属性 描述 类型 默认值 bootstrap.servers 用于建立与kafka集群的连接,这个list仅仅影响用于初始化的hosts,发现全部的servers。格式:host1:port1,host2:port2,…,尽量不止一个,以防其中一个down了 list acks server完成producer requ原创 2016-11-29 16:57:02 · 25120 阅读 · 3 评论 -
Kafka 概述
1. 介绍 Kafka 是一个分布式的流平台. 2. 应用 构建实时流数据管道,在系统和应用程序间可靠地获取数据。 构建实时流应用程序,能够对数据流进行转换或响应。 3. 概念 Kafka 运行在一个或多个服务器上,以 topic 分类,每个 record 包含 key, value 和 timestamp. 4. API Producer API Cons原创 2017-02-27 17:26:02 · 1233 阅读 · 0 评论 -
Kafka:Producer生产者发送逻辑 - 源码
1. 简述注:kafka版本为0.10.1.0 本文大致梳理Producer的发送过程,若有不对请指出。 我们在使用producer客户端,基本使用方法如下:KafkaProducer<byte[], byte[]> producer = new KafkaProducer<byte[], byte[]>(props); producer.send(record, cb);2. 源码 - Kaf原创 2017-02-27 19:50:54 · 5150 阅读 · 0 评论 -
Kafka errors NotLeaderForPartitionException, TimeoutException: Batch containing * record(s) expired
1. 错误描述kafka Producer在运行期间,出现大量以下错误:# 第一种 org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition.和# 第二种 org.apache.kafka.common.errors.Tim原创 2016-11-27 22:59:51 · 33437 阅读 · 3 评论