Flink FlinkEnvBuilder

最新推荐文章于 2023-11-12 08:25:48 发布

转载最新推荐文章于 2023-11-12 08:25:48 发布 · 176 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/maoxiangyi/p/11084802.html

文章标签：

#大数据 #数据库

本文介绍了一个使用FlinkKafkaConsumer进行消息消费的示例代码，展示了如何通过参数工具设置Kafka消费者的基本参数，并在Flink环境中创建和配置消费者。代码中详细解释了参数校验、环境创建及消费者实例化的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

object FlinkEnvBuilder {
 def initEnv(args: Array[String], parameterSize: Int) = {
  val parameterTool: ParameterTool = ParameterTool.fromArgs(args)
  if (parameterTool.toMap.size() != parameterSize) {
   throw new RuntimeException("参数非法,参数列表为：jobName、bootstrap-server、topic、groupId、isSecurity、consumerStrategy、redis.hostname、redis.port")
  }
  // 创建运行环境
  val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
  // 创建消费者
  val s1: FlinkKafkaConsumer011[String] = KafkaClientBuilder.getKafkaConsumer(
   parameterTool.get("bootstrap-server")
   , parameterTool.get("topic")
   , parameterTool.get("groupId")
   , parameterTool.get("isSecurity")
   , parameterTool.get("consumerStrategy"))
  env.getConfig.setGlobalJobParameters(parameterTool)
  (parameterTool, env, s1)
 }
}