KafkaProducer-kafka生产者Java客户端

大数据Kafka简单的生产者例子 在这一节中将创建一个使用Java客户端发布和使用消息的应用程序。 Kafka生产者客户端由以下API组成。 KafkaProducer API 下面来了解Kafka生产者API。 KafkaProducer API的核心部分是KafkaProducer类。KafkaProducer类提供了一个选项,用于将Kafka代理的构造函数与以下方法连接起来。 KafkaProducer类提供send... 阅读详情

转载地址:https://blog.youkuaiyun.com/cjf_wei/article/details/77920435
KafkaProducer(org.apache.kafka.clients.producer.KafkaProducer)是一个用于向kafka集群发送数据的Java客户端。该Java客户端是线程安全的,多个线程可以共享同一个producer实例,而且这通常比在多个线程中每个线程创建一个实例速度要快些。本文介绍的内容来自于kafka官方文档,详情参见KafkaProducer
下文先给出一个简单的实例,而后对其中的参数进行说明。

package com.test.kafkaProducer;

import java.util.List;
import java.util.ArrayList;
import java.util.Properties;
import java.util.concurrent.TimeUnit;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.PartitionInfo;

public class TestProducer {

    public static void main(String[] args) {

        Properties props = new Properties();
        props.put("bootstrap.servers", "192.168.137.200:9092");
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        //生产者发送消息 
        String topic = "mytopic";
        Producer<String, String> procuder = new KafkaProducer<String,String>(props);
        for (int i = 1; i <= 10; i++) {
            String value = "value_" + i;
            ProducerRecord<String, String> msg = new ProducerRecord<String, String>(topic, value);
            procuder.send(msg);
        }
        //列出topic的相关信息
        List<PartitionInfo> partitions = new ArrayList<PartitionInfo>() ;
        partitions = procuder.partitionsFor(topic);
        for(PartitionInfo p:partitions)
        {
            System.out.println(p);
        }

        System.out.println("send message over.");
        procuder.close(100,TimeUnit.MILLISECONDS);
    }
}

producer包含一个用于保存待发送消息的缓冲池,缓冲池中消息是还没来得及传输到kafka集群的消息。位于底层的kafka I/O线程负责将缓冲池中的消息转换成请求发送到集群。如果在结束produce时,没有调用close()方法,那么这些资源会发生泄露。
用于建立消费者的相关参数说明及其默认值参见producerconfigs,此处对代码中用到的几个参数进行解释:
bootstrap.servers:用于初始化时建立链接到kafka集群,以host:port形式,多个以逗号分隔host1:port1,host2:port2;
acks:生产者需要server端在接收到消息后,进行反馈确认的尺度,主要用于消息的可靠性传输;acks=0表示生产者不需要来自server的确认;acks=1表示server端将消息保存后即可发送ack,而不必等到其他follower角色的都收到了该消息;acks=all(or acks=-1)意味着server端将等待所有的副本都被接收后才发送确认。
retries:生产者发送失败后,重试的次数
batch.size:当多条消息发送到同一个partition时,该值控制生产者批量发送消息的大小,批量发送可以减少生产者到服务端的请求数,有助于提高客户端和服务端的性能。
linger.ms:默认情况下缓冲区的消息会被立即发送到服务端,即使缓冲区的空间并没有被用完。可以将该值设置为大于0的值,这样发送者将等待一段时间后,再向服务端发送请求,以实现每次请求可以尽可能多的发送批量消息。
batch.size和linger.ms是两种实现让客户端每次请求尽可能多的发送消息的机制,它们可以并存使用,并不冲突。
buffer.memory:生产者缓冲区的大小,保存的是还未来得及发送到server端的消息,如果生产者的发送速度大于消息被提交到server端的速度,该缓冲区将被耗尽。
key.serializer,value.serializer说明了使用何种序列化方式将用户提供的key和vaule值序列化成字节。

**

kafka客户端的API

**
KafkaProducer对象实例化方法,可以使用map形式的键值对或者Properties对象来配置客户端的属性

/*
 *keySerializer:发送数据key值的序列化方法,该方法实现了Serializer接口
 *valueSerializer:发送数据value值的序列化方法,该方法实现了Serializer接口
 */
public KafkaProducer(Map<String,Object> configs);
public KafkaProducer(Map<String,Object> configs, Serializer<K> keySerializer,Serializer<V> valueSerializer);
public KafkaProducer(Properties properties);
public KafkaProducer(Properties properties, Serializer<K> keySerializer,Serializer<V> valueSerializer);

**

消息发送方法send()

**

/*
 *record:key-value形式的待发送数据
 *callback:到发送的消息被borker端确认后的回调函数
 */
public Future<RecordMetadata> send(ProducerRecord<K,V> record); // Equivalent to send(record, null)
public Future<RecordMetadata> send(ProducerRecord<K,V> record,Callback callback);

send方法负责将缓冲池中的消息异步的发送到broker的指定topic中。异步发送是指,方法将消息存储到底层待发送的I/O缓存后,将立即返回,这可以实现并行无阻塞的发送更多消息。send方法的返回值是RecordMetadata类型,它含有消息将被投递的partition信息,该条消息的offset,以及时间戳。
因为send返回的是Future对象,因此在该对象上调用get()方法将阻塞,直到相关的发送请求完成并返回元数据信息;或者在发送时抛出异常而退出。
阻塞发送的方法如下:

String key = "Key";
String value = "Value";
ProducerRecord<String, String> record = new ProducerRecord<String, String>(key, value);
producer.send(record).get();

可以充分利用回调函数和异步发送方式来确认消息发送的进度:

ProducerRecord<String,String> record = new ProducerRecord<String,String>("the-topic", key, value);
producer.send(myRecord, new Callback() {
                    public void onCompletion(RecordMetadata metadata, Exception e) {
                        if(e != null) {
                            e.printStackTrace();
                        } else {
                            System.out.println("The offset of the record we just sent is: " + metadata.offset());
                        }
                    }
                });

flush 立即发送缓存数据

public void flush();

调用该方法将使得缓冲区的所有消息被立即发送(即使linger.ms参数被设置为大于0),且会阻塞直到这些相关消息的发送请求完成。flush方法的前置条件是:之前发送的所有消息请求已经完成。一个请求被视为完成是指:根据acks参数配置项收到了相应的确认,或者发送中抛出异常失败了。
下面的例子展示了从一个topic消费后发到另一个topic,flush方法在此非常有用,它提供了一种方便的方法来确保之前发送的消息确实已经完成了:

for(ConsumerRecord<String, String> record: consumer.poll(100))
    producer.send(new ProducerRecord("my-topic", record.key(), record.value());
producer.flush();  //将缓冲区的消息立即发送
consumer.commit(); //消费者手动确认消费进度

partitionsFor

//获取指定topic的partition元数据信息
public List<PartitionInfo> partitionsFor(String topic);

close

//关闭producer,方法将被阻塞,直到之前的发送请求已经完成
public void close();//  equivalent to close(Long.MAX_VALUE, TimeUnit.MILLISECONDS)
public void close(long timeout,TimeUnit timeUnit); //同上,方法将等待timeout时长,以让未完成的请求完成发送
Spark大数据分与实践笔记(第六章 Kafka分布式发布订阅消息系统-03) 命令行操作是使用Kafka最基本的方式,也是便于初学者入门使用。要想建立生产者和消费者互相通信,就必须先创建一个“公共频道”, 它就是我们所说的主题(Topic), 在Kafka解压包的bin目录下, 有一个kafka-topics.sh文件,通过该文件就可以操作与主题组件相关的功能,由于前面我们配置了环境变量,所以可以在任何目录下访问bin目录下的所有文件。... 阅读详情

相关推荐

Kafka-Java客户端数据生产流程解析,从发送类型实现代码到序列化器实现代码!

**自定义序列化器*/@Override@Overridetry {= null) {} else {= null) {} else {@Override使用自定义的序列化器Company company = Company.builder().name(“kafka”) .address(“北京”).build();

D1561691的博客 974

KafkaProducer使用介绍、参数配置以及核心源码解析

前言 Kafka,作为目前在大数据领域应用最为广泛的消息队列,其内部实现和设计有很多值得深入研究和分析的地方,使用kafka首先需要接触到producer的开发,然后是consumer开发,自0.8.2.x版本以后,kafka提供了java 版本的producer以代替以前scala版本的producer,下面进行producer的解析。 Producer 概要设计 发送简略流程图 K...

qq_18581221的博客 1万+

Kafka --Kafka编程实战-java客户端开发例子

本入门教程,涵盖Kafka核心内容,通过实例和大量图表,帮助学习者理解,任何问题欢迎留言。 目录: kafka简介 kafka安装和使用 kafka核心概念 kafka核心组件和流程--控制器 kafka核心组件和流程--协调器 kafka核心组件和流程--日志管理器 kafka核心组件和流程--副本管理器 kafka编程实战 本章通过实际例子,讲解...

XiaodunLP的博客 622

org.apache.kafka.common.errors.TimeoutException: Topic not present in metadata 解决方法

【README】 本文po出了 topic not present in metadata 的解决方法; 很多博文说是 因为 jackson-databind 没有引入,但是我重新引入后,还是没有解决问题; 最后,原因在于我要发送消息的分区,topic 没有对应分区会报这个错误; 【1】场景重现 1)新建topic hello02, 分为3个分区,每个分区2个副本; [root@centos201 kafka3.0.0]# kafka-topics.sh --bootstrap-server.

PacosonSWJTU的博客 2万+

Java客户端连接远程Kafka集群

在上面的示例中,我们创建了一个KafkaConsumer实例,并使用之前配置的Properties对象初始化了它。接下来,我们使用consumer.assign()方法将消费者分配给指定的主题和分区,并使用consumer.seekToBeginning()方法将消费者的偏移量设置为最早的位置。在上面的示例中,我们创建了一个KafkaProducer实例,并使用之前配置的Properties对象初始化了它。同时,我们需要在Java项目中添加Kafka客户端库的依赖,以便我们可以在代码中使用相关的类和方法。

LmzActionscript的博客 577

阿里云人工智能工程师ACA认证免费课程学习笔记

阿里云人工智能工程师ACA认证免费课程学习笔记

engchina的专栏 2014

KafkaProducer【java版】

前置: 启动zk进程和kafka进程 zkServer.sh start nohup kafka-server-start.sh $KAFKA_HOME/config/server.properties & 使用tail -F nohup.out查看启动的日志 1.创建一个topic $KAFKA_HOME/bin/kafka-topics.sh -create -zookeeper sp...

留歌__36的博客 662

WPF+Prism+LiveCharts+materialdesignin 搭建WPF开发框架

例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容。

T_Tboy的博客 3054

在Spring Boot微服务集成Kafka客户端(kafka-clients)操作Kafka

记录:459 场景:在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka。使用kafka-clients的原生KafkaProducer操作Kafka生产者Producer。使用kafka-clients的原生KafkaConsumer操作Kafka的消费者Consumer。

zhangbeizhen18的博客 6149

别再死记硬背MAML原理了!用PyTorch手撸一个Omniglot小样本分类器(附完整代码)

本文详细介绍了如何使用PyTorch实现MAML(模型无关的元学习)算法,构建一个Omniglot小样本分类器。通过实战代码演示,帮助读者理解MAML的双层优化原理,并提供了完整的训练循环、网络架构设计及调试技巧,适合想要掌握元学习技术的开发者。

weixin_29191669的博客 132

C++语言程序设计教程第4版杨进才沈显君课后习题答案解析

为了更好地学习这门课程,我尝试在网上寻找一些学习资料和参考书籍,但效果并不是很理想。因此,我希望能有一些学长学姐或者是有经验的程序员能够分享一些学习经验和方法,让我更好地掌握这门课程。学习过程中,我发现这本书的内容非常丰富,讲解也非常详细,对于像我这样编程基础薄弱的学生来说,是一本非常实用的教材。同时,我也希望有经验的程序员能够推荐一些适合初学者的C++语言学习资料和工具,以便我能更好地学习和掌握这门课程。总之,希望能得到大家的帮助和支持,让我更好地学习和掌握C++语言程序设计。主 编: 杨进才,沈显君。

weixin_58833001的博客 1338

Java producer-consumer(生产者/消费者模式)

生产者消费者模式并不是GOF提出的23种设计模式之一,23种设计模式都是建立在面向对象的基础之上的,但其实面向过程的编程中也有很多高效的编程模式,生产者消费者模式便是其中之一,它是我们编程过程中最常用的一种设计模式。      在java应用中,生产者/消费者模式的实现有以下五种:      1:wait() / nofity()方法是基类Object的两个方法,也就意味着所有Java类都会拥

followwwind的博客 2580

Vue3 - Element Plus 组件库 Tabs 标签页右侧区域插入按钮,<el-tabs> / <el-tab-pane> 选项卡组件右侧自定义插槽内容教程(右边区域添加自定义按钮功能区)

vue3,elementplus,tabs选项卡如何在插槽按钮,tabs标签页组件怎么自定义右侧内容,vue3elementplustabs组件右侧插槽按钮,element-plus在el-tabs组件的最右侧添加按钮,如何在选项卡右边加入按钮搜索框等内容,哪个属性能在tab选项卡右侧插入自定义按钮,在el-tabs组件最右侧添加按钮,vue3el-tabs组件怎么自定义右侧插槽内容,Tabs标签页右侧自定义插槽,ElementPlusTab右边加按钮,el-tabs组件自定义右侧按钮,在E

🏆 前端领域优质创作者 7020

Kafka入门-Producer API使用

生产者 API 允许应用程序将数据流发送到 Kafka 集群中的主题。 注:使用的是新版本的 Java 语言编写的 API,不对 0.8.x 及以前版本进行讨论 maven 依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients&lt...

zc0565的博客 1088

DeepSeek+Cline:开启自动化编程新纪元

随着 AI 技术不断进步,编程领域迎来效率变革。DeepSeek 与 Cline 的结合,成为自动化编程的强大工具。DeepSeek 凭借先进的自然语言处理能力,能精准理解编程需求;Cline 作为 VSCode 插件,可实现代码生成、调试、注释等功能的无缝衔接。本文详细阐述二者安装配置、实战操作流程,涵盖从基础代码生成到复杂项目开发的应用技巧,同时解答常见问题,帮助开发者快速掌握这对 “智能搭档”,提升编程效率,解锁自动化编程的无限可能。

邓邓子的博客 6258

YOLOv11知识蒸馏,实现无损涨点,包含逻辑蒸馏和特征蒸馏中的不同蒸馏方法,适用专栏内的所有模型

知识蒸馏(Knowledge Distillation)是由 Hinton 等人在 2015 年提出来的,主要是用一个复杂的教师模型去指导一个简单的学生模型训练,这样能让学生模型在保持高精度的同时,还能减少计算量。本文便是讲解如何针对的原始模型以及改进后的模型进行知识蒸馏,轻松实现无损涨点。知识蒸馏的核心在于利用已训练好的复杂模型(教师模型)去指导一个更简单的模型(学生模型)进行训练,以此让学生模型在保留较高精度的同时,降低计算成本。特征蒸馏(Feature Distillation)是知识蒸馏的一种形式,

Limiiiing的博客 4970

【技海登峰】Kafka漫谈系列(五)Java客户端之生产者Producer核心组件与实现原理剖析

【技海登峰】Kafka漫谈系列(五)Java客户端之生产者KafkaProducer核心组件与实现原理剖析:官方提供了基于Java实现的kafka-clients客户端,向Kafka Broker服务节点中发送主题消息数据的应用程序被称为生产者,生产者客户端被封装为公共类KafkaProducer,本文详细介绍了生产者的核心组件及其消息发送的实现原理。

这里是阿安的博客 498

【天气雷达】双偏振产品-差分传播相移KDP详解

双偏振产品-差分传播相移KDP详解。

珞瑜的博客 2662

kafka的java生产者_Kafka 的 Java 客户端生产者的指南

本文将从使用 Kafka 的 Java 客户端生产者入手,剖析 Producer API 是如何向 Kafka 集群发送消息的。基本使用Hello Kafka以使用 Maven 为例,引入 kafka-clients 的依赖。org.apache.kafkakafka-clients${kafka-clients.version一个简单的生产端代码,使用 KafkaProducer 发送一条“He...

weixin_35241774的博客 110

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

kafka-java生产者详解

kafka生产者详解1. 消息发送Kafka Java客户端数据生产流程解析必要参数配置poll方法参数发送类型发送即忘记同步发送异步发送序列化器自定义序列化器示例分区器拦截器使用场景拦截器示例:使用拦截器2. 消息发送过程流程描述消息发送的方式Kafka发送消息的具体流程图3. 生产者常用参数配置acksretiresbatch.sizelinger.msmax.request.size总结 Kafka数据生产大致流程 如何创建并使用Kafka生产者 Kafka生产者常用配置 1. 消息发送 Kafk

学无止境 2463

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

java kafka client_一、kafka 介绍 && kafka-client

一、kafka 介绍1.1、kafka 介绍Kafka 是一个分布式消息引擎与流处理平台,经常用做企业的消息总线、实时数据管道,有的还把它当做存储系统来使用。早期 Kafka 的定位是一个高吞吐的分布式消息系统,目前则演变成了一个成熟的分布式消息引擎,以及流处理平台。Kafka 主要起到削峰填谷(缓冲)、系统解构以及冗余的作用,主要特点有:高吞吐、低延时:这是 Kafka 显著的特点,Kafka ...

weixin_42405705的博客 4402

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

java整合kafka做消息生产者投递

java整合kakfa做消息的简单投递

qq_40911404的博客 1059

Kafka producer工具

import org.apache.kafka.clients.producer.*; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; /** * apache kafka生产者工具 * Created on : 2020年6月30日 * @author poke * @version 1.0 */ public class KafkaProducerUti.

cy104204的专栏 1312

Kafka入门(四)

生产者就是负责向Kafka发送消息的应用程序,消费者就是拉取Kafka消息的应用程序。基于Scala语言编写的客户端,称为旧客户端,已废弃;基于Java语言编写的客户端(从Kafka0.9.x开始),称为新客户端,它弥补了就客户端中存在的诸多设计缺陷;pom依赖。

ldcaws的专栏 580

kafka java api编写消费者客户端和生产者客户端

1、生产者客户端案例 2、生产者客户端案例

Above the cloud 1439
上一篇: Storm 入门的Demo教程
下一篇: apache kafka之server.properties配置文件参数说明
learn_tech
博客等级 码龄10年 68粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值