Flink原理，实战与性能优化读书笔记(二)

最新推荐文章于 2023-12-30 10:39:09 发布

原创

最新推荐文章于 2023-12-30 10:39:09 发布 · 1.6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

本文介绍了Flink DataStream API中的物理分区操作，包括随机分区、平衡分区、按比例分区和广播操作，强调了各策略在数据平衡和性能优化中的应用，并展示了自定义分区的实现代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第四章 DataStream API 介绍与使用

DataSource

  def main(args:Array[String]): Unit ={
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    //1.内置数据源
    val textStream = env.readTextFile("/home/graviti/下载/flink-training-exercises-master/NOTICE.txt")
    //2.socket
    val socketStream = env.socketTextStream("localhost",9000)
    //3.集合数据源
    val dataStream = env.fromElements(Tuple2(1L,3L),Tuple2(1L,2L),Tuple2(1L,4l))
    //4.Kafka
    val properties = new Properties()
    properties.setProperty("bootstrap.servers", "master:9092")
    properties.setProperty("zookeeper.connect", "master:2181")
    val schema = new SimpleStringSchema();
    val consumer = new FlinkKafkaConsumer010[String]("video-stream-event",schema,properties)
    val stream = env.addSource(consumer)
    stream.setParallelism(4).print()
    env.execute("kafkaConsumer")
  }