Camel管理路由的解决方案

最新推荐文章于 2025-11-07 14:36:09 发布

原创

最新推荐文章于 2025-11-07 14:36:09 发布 · 1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#java #大数据 #分布式 #kafka #zookeeper

本文介绍如何使用Apache Camel实现从文件系统读取数据并转发至Kafka集群的过程。具体包括搭建Zookeeper与Kafka集群、创建Topic及配置Camel路由规则等步骤。特别注意的是，在较老版本的Kafka中可能存在不支持消息头的问题。

Camel管理路由的解决方案 (持续更新ing)

通过Camel管理kafka的路由转发

背景:采集数据发送到共有kafka,消费kafka,发送到自己集群kafka…

在这里插入图片描述

在一般生产的情况下,连接别人的kafka,是需要提供认证证书的,这里我们用同一个集群进行演示

环境准备

安装zookeeper集群
安装kafka

创建公共的topic

进入对应kafka目录

1.1创建topic

bin/kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 1 --partitions 1 --topic commonAPI  --config retention.bytes=104857600

bin/kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 1 --partitions 1 --topic camelproducer  --config retention.bytes=104857600

1.2通过camel集成kafka的消费和生产进行路由转发

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>it.luke</groupId>
    <artifactId>Camel_Pro</artifactId>
    <version>1.0-SNAPSHOT</version>

最低0.47元/天解锁文章