daqu1314的博客

第二步:写代码 增加pom.xml文件,代码中也有kafka的数据源配置,也可以参考,IP地址是我的虚拟机地址,没连接外网无法登陆;解决问题: 解决直接向hive直接写入数据,再不需要配置hive配置文件;若今天是20230608那么dt的时间也是20230608,当然在实际的生产中,可以写个定时任务,定时添加;2.合理设置checkpoint时间,时间越短产生的小文件越多.1.第一步创建hive表并且添加分区,就当前时间为例,1.生产中一定增加checkpoint 存储的目录.

常用命令

先总结三种方式,这三种就是常见的.

一.基本版本信息 springboot2.5.5 kafka.2.4.1 二.代码部分 2.1pom.xml <modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifa..

kafka java编写的 由于篇幅太长 我这边找到一个代码托管 kafka api 代码参考

1.Kafka的架构图

1.下载安装包 kafka-eagle-bin-1.3.7.tar.gz 2.解压安装包并修改名称

1.这里版本的kafka是基于zookeeper 是先安装好 zookeeper不能出现问题 kafka_2.11-2.4.1.tgz 2.解压安装包,重命名该压缩包. tar -zxvf kafka_2.11-2.4.1.tgz mv kafka_2.11-2.4.1 kafka-2.11 3.在配置文件中修改配置 第一台 broker.id=1 num.network.threads=3 num.io.thread...