dian张

将一天数据分割成N个连续片段

当flink-conf.yaml配置了kerberos但是还遇到了无法连接问题，从下面代码可以看出是因为没有加载配置文件导致16020 failed on local exception: org.apache.hadoop.hbase.exceptions.ConnectionClosedException: Connection closed at org.apache.hadoop.hbase.ipc.IPCUtil.wrapException(IPCUtil.java:206) at org.

操作系统版本;win11jdk版本：JDK 1.8.0_302scala版本：2.11.12代码分支：1.2.2-releasemaven版本:3.8编译命令：mvn clean install -DskipTests -Denv=prod错误详情:[ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:4.3.0:compile (install-scala) on project streamx-

1.通过分布式表解析数据库名字、local表名、对应集群名称SELECT engine_full FROM system.tables WHERE database = ? AND name = ? String cluster = matcher.group("cluster"); String database = matcher.group("database"); String table ..

{ "messageHeader" : { "messageID" : 2, "responseFlag" : -2 }, "messageBody" : { "time" : "2021-09-09T12:45:48", "vehicleBase" : { "id" : null, "vin" : null, "vehicleStatus" : 1, "chargeStatus" : 3 }, "a

实现细节1.实现DynamicTableSourceFactory , DynamicTableSinkFactory 注册 自定义connector resources目录下创建文件 org.apache.flink.table.factories2.自定义DynamicTableSource和DynamicTableSink 生成逻辑计划3.根据维表或者select功能实现LookupTableSource，ScanTableSource4.创建具体干活的查询任务...

将 SQL文本 / TableAPI 代码转化为逻辑执行计划（Logical Plan）Logical Plan 通过优化器优化为物理执行计划（Physical Plan）通过代码生成技术生成 Transformations 后进一步编译为可执行的 JobGraph 提交运行row_number() over 求max min的方式，流式场景求解极大 / 小值的最优操作是通过维护一个 size 为 N 的 minHeap / maxHeap。由实现反推出我们需要在优化器上新增一条规则，在遇到 RO.

_metadata:保存了state 的句柄,JM 解析元数据文件，做一些校验，将信息写入到 zk 中，然后准备从这一次 Checkpoint 中恢复任务其余小文件:是 state 数据，由各 Task 在触发 checkpoint 的时候上传，恢复的时候，JM 读取_metadata 将相应句柄下发到 Task，Task 通过远端 HDFS 拉取对应的 state...

CREATE TABLE sourceTable ( event_time_line array<ROW ( `rule_name` VARCHAR, `count` VARCHAR )>) WITH ( 'connector.type' = 'kafka', 'connector.version' = 'universal', 'connector.startup-mode' = 'earliest-offset', 'connector.topic'

client 算子变成streamGraph，jobGraphjob jobGraph生成executionGraphjob启动，通过driver端将算子转为StreamGraph，通过一些chain条件将可以chain的顶点chain在了一起转化成了JobGraph通过RPC将整个jobGraph向jobmanager提交...

public enum CheckpointingMode { EXACTLY_ONCE, //BarrierBuffer AT_LEAST_ONCE;//BarrierTracker private CheckpointingMode() { }}

dumpenv.java.opts: -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -server -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/load/...

ddl时候flink-connector-kafka_2.12 ddl时候需要provided 线上时候flink-sql-connector-kafka_2.12 compile 线上时候lib添加jar flink-sql-connector-kafka_2.12 flink-json

做个记录

需要的jar <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-sql-connector-kafka_2.12</artifactId> <version>${fl...

flinkSQL表转流Flink 提出 Stream <–> Dynamic Table 之间是可以等价转换的需要引入Retraction机制toAppendStream 只支持inserttoRetractStream 其余模式都可以持续更新...

流转换 单数据流基本转换、基于Key的分组转换、多数据流转换和数据重分布转换keyBy会将一个DataStream转化为一个KeyedStream，聚合操作会将KeyedStream转化为DataStreamkeyedStream 有key的state、定时器分区策略是hashcodeshuffle randomrebalance Round-Robinrescale 将数据分发到就近...

clientsubmitJob,jobGraphJobManager调度job，协调task，通信，资源申请TaskMamager具体执行任务，资源申请flink作业提交过程userJar streamGraph jobGraph executionGraph task...

security.kerberos.login.keytab: /usr/local/keytab/flink/flink.keytabsecurity.kerberos.login.principal: flink/master@AQ.COMsecurity.kerberos.login.contexts: Client,KafkaClientsecurity.kerberos.login...

修改 kafka界面 security.inter.broker.protocol SASL_PLAINTEXT删除认证缓存kdestroy登录添加用户生成keytabkadmin.localadd_principal flink/master@AQ.COMadd_principal flink/worker-1@AQ.COMadd_principal flink/worker-...

窗口类型数据窗口：当数据量到达一定程序触发时间窗口：滑动，滚动，session窗口：用户会话窗口自定义窗口时间类型processing time：数据被系统处理时间event time：事件真实时间ingestion time：数据进入系统的时间...

两种state：operatorState keyedState1.operatorState只提供了ListState2.keyedState提供了ValueState,ListState,ReducingState,MapStateoperatorStateStore的默认实现只有DefaultOperatorStateBackend可以看到他的状态都是存储在堆内存之中，而keyed...

ScalarFunction：标量函数是实现将0，1，或者多个标量值转化为一个新值TableFunction：一个输入多个行或者多个列AggregateFunction：多个输入一个输出package org.fuwushe.sql;import com.alibaba.fastjson.JSONObject;import org.apache.flink.api.commo...

yarn提交./bin/flink run -m yarn-cluster -yn 2 -c com.flink.kafka.KafkaProducer /usr/local/flinkLearn/target/demo-0.0.1-SNAPSHOT.jarstandlone提交./bin/flink run -c com.flink.kafka.KafkaConsumer /usr/loc...

AssignerWithPunctuatedWatermarks： 数据流中每一个递增的EventTime都会产生一个Watermark。在实际的生产中，在TPS很高的场景下会产生大量的Watermark在一定程度上对下游算子造成压力，所以只有在实时性要求非常高的场景才会选择间断的方式进行水印的生成AssignerWithPeriodicWatermarks： 周期性的（一定时间间隔或者达到一...