qq_27474277的博客

在使用阿里云托管flink的时候，要从sqlserver实时同步数据到hologress，准备使用flink-cdc 的sqlserver-cdc connector，结果发现阿里云flink里面有个connector 有个名字重复了，而且还不能用，纯纯的bug，只能更改 flink-cdc 的sqlserver-cdc connector的名字，于是我把名字改成了‘flink-sqlserver-cdc’。需要修改的地方如下。 改完之后重新编译打包，带上依赖。找到jar包上传上去就可以使用了......

flink log4j2 配置文件

问题： 在Flink scala中使用WatermarkStrategy类中的方法maven编译时抛出以下异常 [ERROR] /Users/duzhixin/flink-dw/src/main/scala/come/bigdata/etl/FlinkEvent.scala:26: error: Static methods in interface require -target:jvm-1.8 [INFO] val eventStream = env.fromSource(kafkaSource,

1.下载安装包，解压 https://flink.apache.org/downloads.html tar zxvf *.tax.gz scala下载 解压 配置 vim /etc/profile https://www.scala-lang.org/download/ export SCALA_HOME=/usr/local/scala-2.12.13 PATH=SCALAHOME/bin:SCALA_HOME/bin:SCALAH​OME/bin:JAVA_HOME/bin:HADOOPH

1.flinkx部署 参考官方安装文档，但是会有一些坑 wget https://github.com/DTStack/flinkx/blob/1.10_release/docs/quickstart.md 2.FlinkX版本需要与Flink版本保持一致，最好小版本也保持一致 FlinkX分支 Flink版本 1.8_release Flink1.8.3 1.10_release Flink1.10.1 1.11_release Flink1.11.3 不对应在standal

前言 在调试flink table api 查询 hive数据的时候，真的是遇到很多坑，特别是要hive存储的数据是在腾讯云的cos上，而且我是跨集群查询数据，要解决各种依赖和环境问题，下面的代码和pom.xml 已经调试成功，在本地和集群 on yarn都可以运行，本地的时候需要在idea里面加args为dev，集群 on yarn不用加。 代码 package com.bigdata.etl import org.apache.flink.table.api.{EnvironmentSettings,

###flink1.12 下载安装 ###flink-sql 把flink-connector-kafka_2.11-1.12.2.jar，flink-json-1.12.2.jar，flink-sql-connector-kafka_2.11-1.12.0.jar，jackson-core-2.9.5.jar，jackson-databind-2.9.5.jar放到$FLINK_HOME/lib里面，不放会class not found cd $FLINK_HOME #启动yarn session .

1.在dialect package里面新加一个ClickhouseDialect，这个类可以根据MySQLDialect改 /* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * rega