kwame211的博客

Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式架构于一身。ApacheCassandra是一套开源分布式NoSQL数据库系统。它最初由 Facebook 开发，用于储存收件箱等简单格式数据，集 Google BigTable 的数据模型与 Amazon Dynamo 的完全分布式架构于一身。Facebook 于 2008...

compile默认的scope，表示 dependency 都可以在生命周期中使用。而且，这些dependencies 会传递到依赖的项目中。适用于所有阶段，会随着项目一起发布provided跟compile相似，但是表明了dependency 由JDK或者容器提供，例如Servlet AP和一些Java EE APIs。这个scope 只能作用在编译和测试时，同时没有传递性。????????runtime表示dependency不作用在编译时，但会作用在运行和测试时，如JDBC驱动，适用运...

修改项目下 .idea\workspace.xml，找到标签<component name="PropertiesComponent">， 在标签里加一行<property name="dynamic.classpath" value="true" />

滑动窗口预聚合public class UserBehaviorAnalysis { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setStreamTimeCharacteristic(TimeCharacte

comapjoin示例public class ConnectedStreamFlatMapSolution { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // control 会被 flatMap1 处理 .

我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换算子无法实现)。.

import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.functions.RichFlatMapFunction;import org.apache.flink.api.common.state.ValueState;import org.apache.flink.api.common.state.ValueStateDescriptor;import org.apa..

package com.flink.example;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.functions.RichFlatMapFunction;import org.apache.flink.api.common.state.ValueState;import org.apache.flink.api.common.state.ValueStat.

一、flink状态原理1.1 什么是flink中的状态？为什么需要状态管理？​ flink运行计算任务的过程中，会有很多中间处理过程。在整个任务运行的过程中，中间存在着多个临时状态，比如说某些数据正在执行一个operator，但是只处理了一半数据，另外一般还没来得及处理，这也是一个状态。​ 假设运行过程中，由于某些原因，任务挂掉了，或者flink中的多个task中的一个task挂掉了，那么它在内存中的状态都会丢失，如果这时候我们没有存储中间计算的状态，那么就意味着重启这个计算任务时，需要从头开始将

API移除掉 ExecutionConfig 中过期的方法移除掉了ExecutionConfig#isLatencyTrackingEnabled方法, 你可以使用ExecutionConfig#getLatencyTrackingInterval方法代替.移除掉了ExecutionConfig#enable/disableSysoutLogging、ExecutionConfig#set/isFailTaskOnCheckpointError过期的方法。移除掉了-qCLI ...

数仓架构离线数仓传统的离线数仓是由 Hive 加上 HDFS 的方案，Hive 数仓有着成熟和稳定的大数据分析能力，结合调度和上下游工具，构建一个完整的数据处理分析平台，流程如下：Flume 把数据导入 Hive 数仓 调度工具，调度 ETL 作业进行数据处理 在 Hive 数仓的表上，可以进行灵活的 Ad-hoc 查询 调度工具，调度聚合作业输出到BI层的数据库中这个流程下的问题是：导入过程不够灵活，这应该是一个灵活 SQL 流计算的过程 基于调度作业的级联计算，实时性太差

在了解 Flink 整体发展趋势后，我们来看下最近发布的 Flink 1.11 版本在 connectivity 和 simplicity 方面都带来了哪些令人耳目一新的功能。#### FLIP-122：简化 connector 参数整个 Flink SQL 1.11 在围绕易用性方面做了很多优化，比如FLIP-122，优化了 connector 的 property 参数名称冗长的问题。以 Kafka 为例，在 1.11 版本之前用户的 DDL 需要声明成如下方式 CREATE TABLE.