qq_36329933的博客

原创 flink 的Watermark对齐机制

Watermark产生 1.在sourceFunction中通过emitWatermark方法生成 2.通过assignTimestampsAndWatermarks抽取timestamp并生成watermark watermark的流转 watermark会像普通的element和stream status一样随着stream流不断的向下游流转 watermark的对齐 public void inputWatermark(Watermark watermark, int channelInd

原创 Flink 的parallelism 和 slot 设置

原创 Java 之 lambda

从集合到流 Double maxresult= list.stream() .map(i->new Point(i%3,i/3)) .mapToDouble(p->p.distance(p)) .average() .orElse(-1.0); 从串行到并行 Double maxresult = list.parallelStream(

原创 从源码看 flink-1.11.1 中的时间水位和时间戳

SystemProcessingTimeService getCurrentProcessingTime() 方法返回 System.currentTimeMillis() ScheduledFuture<?> registerTimer(long timestamp, ProcessingTimeCallback callback)注册一个要在不早于时间 timestamp 的情况下执行的任务。这里输入的 timestamp指的是任务启动的时间如果设定的时间早于...

原创 AbstractStreamOperator

私有变量 InternalTimeServiceManager<?> timeServiceManager initializeState方法 @Override public final void initializeState(StreamTaskStateInitializer streamTaskStateManager) throws Exception { final TypeSerializer<?> keySerializer = confi..