Milesian的博客

终极解决方案：第一步：打一个flink-connector-mysql-cdc-3.4.0.jar的胖包，并加入kafka/connect的重定位配置...

启动一个交互容器docker run -u root -it --rm flink:2.0.0 /bin/bash。在flink源码处，直接将整个flink-parent进行编译(clean intall)，可以看到pyflink.zip文件，将其替换为我们刚才生成的pyflink.zip。然后到你的python环境，比如pycharm，来执行pip命令安装即可。# 官方版的pyflink 应该不用安装了，但是我是先安装了再覆盖的。根据官网的指引，安装python和pyflink。

官方的kafka-connector中的kafka sink api 不支持自己指定key，于是我就自己动手写了一个schema来支持这个功能。

pyflink 在使用kafka source时，可能遇到SimpleStringSchema无法反序列化而报错的情况，比如debezium产生的墓碑事件（value为空）。我们可以自定义反序列化器来解决这个问题。

Flink Neo4jSink 的java实现和python实现。java一个小时能写出三种实现，老架构、新架构、新架构v2。pyflink是真的不好用，非必要还是用java api！

祝大家早日成为Contributor！

比如说以下代码：flink-table/flink-sql-parser/src/main/java/org/apache/flink/sql/parser/dql/SqlShowDatabases。另外建议强迫症选手在此后不要点开ParseException类哈，不然会报红让你把目录已到项目根目录去，显然咱们不可能移过去，虽然不影响使用，但是看着很烦。原因：这个目录其实是flink运行时由javacc生成的，我们编译完成后，可以在target目录找到它。

开启vpn时，部分流量没有代理，即使是全局代理，也会有同样报错，解决方式：开启vpn TUN代理模式，即可代理本机所有流量。

编译flink源码时报错 Too many files with unapproved license: 8 See RAT report in: D:\apache-maven-3.9.9\mvn_repo\flink-1.20.0\flink-formats\flink-avro\target\rat.txt。在IDEA的设置里找到Maven->Runner，VM Options添加 -Drat.skip=true。

看看这两个文件是否完整（看大小），如果不完整，删掉这个文件，再重新clean install，还不行可以自己去网上下载node.exe文件放进来。编译了三四次源码了，flink版本1.16 1.18 1.20，分别在各种不同环境下编译都遇到了这个报错，有时候node.js和npm一起报错。首先在flink-runtime-web的pom文件找到这一行，将npm镜像改为。这次我编译比较顺利，暂时没有遇到其他问题，以后有机会再收集其他的问题。node.js报错的话，找到本地仓库地址。

pyflink/flink 写ES 无法写复合数据类型？？？