卡夫卡gradle

Spring Kafka 消息发送与消费详解

最新推荐文章于 2024-05-01 23:32:54 发布

原创最新推荐文章于 2024-05-01 23:32:54 发布 · 281 阅读

0 ·

CC 4.0 BY-SA版权

kafka 专栏收录该内容

9 篇文章

订阅专栏

本文详细介绍了如何使用 Spring Kafka 发送和消费消息，包括配置 Gradle 依赖、理解主题、分区和消息位置的概念，以及使用 KafkaTemplate 类进行消息发送的源码解析。同时，展示了如何通过 @KafkaListener 注解实现消息消费。

可参考系列文章地址：https://www.jianshu.com/p/f5eaa32cf1f3

gradle依赖

compile('org.springframework.kafka:spring-kafka:1.1.1.RELEASE')

概念：

主题（topic）,分区，消息位置（offset，偏移量），关系：1：n：n

类：KafkaTemplate，ProducerRecord，ConsumerRecord

发送消息：源码

kafkaTemplate.send("c2", "shenke");

@Override
	public ListenableFuture<SendResult<K, V>> send(String topic, V data) {
		ProducerRecord<K, V> producerRecord = new ProducerRecord<>(topic, data);
		return doSend(producerRecord);
	}

protected ListenableFuture<SendResult<K, V>> doSend(final ProducerRecord<K, V> producerRecord) {
		getTheProducer();
		if (this.logger.isTraceEnabled()) {
			this.logger.trace("Sending: " + producerRecord);
		}
		final SettableListenableFuture<SendResult<K, V>> future = new SettableListenableFuture<>();
		getTheProducer().send(producerRecord, new Callback() {

			@Override
			public void onCompletion(RecordMetadata metadata, Exception exception) {
				if (exception == null) {
					future.set(new SendResult<>(producerRecord, metadata));
					if (KafkaTemplate.this.producerListener != null
							&& KafkaTemplate.this.producerListener.isInterestedInSuccess()) {
						KafkaTemplate.this.producerListener.onSuccess(producerRecord.topic(),
								producerRecord.partition(), producerRecord.key(), producerRecord.value(), metadata);
					}
				}
				else {
					future.setException(new KafkaProducerException(producerRecord, "Failed to send", exception));
					if (KafkaTemplate.this.producerListener != null) {
						KafkaTemplate.this.producerListener.onError(producerRecord.topic(),
								producerRecord.partition(), producerRecord.key(), producerRecord.value(), exception);
					}
				}
			}

		});
		if (this.autoFlush) {
			flush();
		}
		if (this.logger.isTraceEnabled()) {
			this.logger.trace("Sent: " + producerRecord);
		}
		return future;
	}

消费消息

//kafka消费消息
	@KafkaListener(topics ="c2")
	public void executeIptvTask(ConsumerRecord<?, ?> cr) {
		   ObjectMapper mapper = new ObjectMapper();
		   //KafkaConsumer<String, String> consumer = new KafkaConsumer<>(configs);
		try {
			// kafkaTemplate.send("c2", "shenke");
			IptvTask	iptvTask = mapper.readValue((String) cr.value(), IptvTask.class);
			log.info("---c2KafkaListener==="+iptvTask);

			//2,播控回掉 3,iptv回掉
			iptvTask.setProcesses(2);
			//0,待解析，1解析成功
			iptvTask.setStatus(0);
			saveOrUpdateSoapRequestByCorrelateId(iptvTask);
			handleIptvTaskList(iptvTask);
		}catch (Exception e) {
			log.error("---c2KafkaListener Exception===", e);
		}
	}