hdfs文件写入kafka集群

1. 场景描述

因新增Kafka集群,需要将hdfs文件写入到新增的Kafka集群中,后来发现文件不多,就直接下载文件到本地,通过Main函数写入了,假如需要部署到服务器上执行,需将文件读取这块稍做修改。

2. 解决方案

代码是真实的代码,可以直接运行,只把Ip地址做了下隐藏而已。

2.1 真实代码
import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
import org.apache.hadoop.conf.Configuration;
import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.Properties;
import java.util.concurrent.ThreadLocalRandom;

@SuppressWarnings("all")
public class HdfsToKafka_test {
    public static final char[] charts = "qazws
要将HDFS集群中的数据拉取到Kafka topic中,可以使用Kafka Connect来实现。Kafka Connect是Kafka的一个开源工具,用于连接Kafka和其他数据源,包括HDFS、JDBC、Elasticsearch等。 以下是将HDFS中的数据拉取到Kafka topic的操作步骤: 1. 安装Kafka Connect:可以从Kafka官网上下载和安装Kafka Connect。安装完成后,需要配置Kafka Connect的配置文件,包括Kafka集群的地址、连接器的配置等。 2. 安装HDFS连接器:Kafka Connect提供了一个HDFS连接器,用于连接HDFSKafka。可以从Kafka官网上下载和安装HDFS连接器,并将其添加到Kafka Connect的插件目录中。 3. 配置HDFS连接器:需要在Kafka Connect的配置文件中配置HDFS连接器的参数,包括HDFS集群的地址、HDFS文件的路径、Kafka topic的名称等。 4. 启动Kafka Connect:启动Kafka Connect后,它会自动加载HDFS连接器,并根据配置的参数从HDFS中读取数据,并将数据发送到指定的Kafka topic中。 下面是一个使用HDFS连接器将HDFS中的数据拉取到Kafka topic的配置示例: ```ini # Kafka Connect的配置文件 bootstrap.servers=localhost:9092 # HDFS连接器的配置 key.converter=org.apache.kafka.connect.storage.StringConverter value.converter=org.apache.kafka.connect.storage.StringConverter key.converter.schemas.enable=false value.converter.schemas.enable=false connector.class=io.confluent.connect.hdfs.HdfsSinkConnector topics=hdfs-topic tasks.max=1 hdfs.url=hdfs://localhost:9000 flush.size=3 rotate.interval.ms=60000 logs.dir=/usr/local/kafka-connect/logs hadoop.home=/usr/local/hadoop format.class=io.confluent.connect.hdfs.parquet.ParquetFormat schema.compatibility=NONE ``` 在这个配置文件中,我们首先指定了Kafka集群的地址,然后配置了HDFS连接器的参数,包括数据的序列化器、Kafka topic的名称、HDFS集群的地址、HDFS文件的路径等。其中,flush.size和rotate.interval.ms参数用于控制数据的写入频率和文件的切换频率,logs.dir参数用于指定日志文件的存储路径,hadoop.home参数用于指定Hadoop的安装路径,format.class参数用于指定数据的格式(这里使用了Parquet格式),schema.compatibility参数用于指定数据的模式兼容性。 启动Kafka Connect后,它会自动加载HDFS连接器,并从HDFS中读取数据,并将数据发送到指定的Kafka topic中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

软件老王

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值