flink DataStream iterate迭代流scala代码示例

Never/ff

于 2020-06-06 01:25:15 发布

阅读量434

点赞数

文章标签： flink

本文链接：https://blog.youkuaiyun.com/qq864181762/article/details/106581595

版权

本文介绍了Apache Flink中的DataStream迭代流功能，通过官方解释展示了如何创建反馈循环来持续更新模型的算法。接着提供了一个Scala代码示例，详细说明了如何设置迭代体，并在实际运行中通过socket测试，演示了输入数据如何在output和feedback流之间流转进行迭代处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.迭代流定义
直接看官网的解释：
在这里插入图片描述
通过将一个运算符的输出重定向到前面的某个运算符，在流中创建一个“feedback”循环。这对于定义持续更新模型的算法尤其有用。上面的代码从一个流开始，并持续地应用迭代体。大于0的元素被发送回反馈通道，其余的元素被转发到下游。
2.scala代码示例

import org.apache.flink.api.java.utils.ParameterTool
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}
import org.apache.flink.api.scala._
import org.apache.flink.ml.math.DenseVector
/**
 * @Author: ch
 * @Date: 25/05/2020 2:55 PM
 * @Version 1.0
 * @Describe:
 */
object DataStreamIterateTest {
  /**
   * 测试迭代流
   * @param args
   */
  def main(args: Array[String]): Unit = {
    // the port to connect to
    var port = 0
    try {
      ParameterTool.fromArgs(args).getInt("port")
    } catch {
      case e: Exception => {
        port  = 9000
      }
    }
    val env: Strea

最低0.47元/天解锁文章