基于Flink+Hive+Kafka的流批一体数仓实践--03kafka_sink_kafka_ods

问道2020

关注

VIP免费原创最新推荐文章于 2026-07-08 16:32:50 发布 702 阅读 AI 写同款· GEO 优化 ›

kafka数据写入速度优化【项目经验总结】先说结论：调整集群参数 # 每当producer写入10000条消息时，刷数据到磁盘 log.flush.interval.messages=10000 # 每间隔1秒钟时间，刷数据到磁盘 log.flush.interval.ms=1000 好久没有更新了，沣哥给介绍了个对象，也不知道能不能成，看的看不上咱0.0 回归主题，前几天领导给我派了个活，说客户的kafka消费速度有问题，派我出差去排查一下，我到了现场后先梳理了一下数据链路，一个服务(二进制数据流)->kafkatopic1-& 阅读详情

准备工作：搭建Hadoop、kafka、zk集群等（略）。
脚本启动集群后，开启kafka主题消费：

bin/kafka-console-consumer.sh --bootstrap-server hadoop002:9092 --from-beginning --topic GoodmeODS_orderMaster

在这里插入图片描述
kafka_sink_kafka_ods代码如下：

import java.time.Duration
import org.apache.flink.streaming.api.{
   
   CheckpointingMode, TimeCharacteristic}
import org.apache.flink.streaming.api.environment.{
   
   ExecutionCheckpointingOptions, StreamExecutionEnvironment}
import org.apache.flink.table.api.{
   
   EnvironmentSettings, SqlDialect}
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment
import org.apache.flink.table.