- 博客(8)
- 收藏
- 关注
RSS订阅原创 Pyflink SimpleStringSchema反序列化器的局限性问题解决，自定义DeserializationSchema
pyflink 在使用kafka source时，可能遇到SimpleStringSchema无法反序列化而报错的情况，比如debezium产生的墓碑事件（value为空）。我们可以自定义反序列化器来解决这个问题。
2025-03-25 11:00:27
441
原创 Pyflink自定义Sink实现，以Neo4j Sink为例
Flink Neo4jSink 的java实现和python实现。java一个小时能写出三种实现，老架构、新架构、新架构v2。pyflink是真的不好用，非必要还是用java api！
2025-03-13 16:36:23
1047
原创 Flink源码编译完成之后，部分代码构建后显示找不到
比如说以下代码：flink-table/flink-sql-parser/src/main/java/org/apache/flink/sql/parser/dql/SqlShowDatabases。另外建议强迫症选手在此后不要点开ParseException类哈，不然会报红让你把目录已到项目根目录去，显然咱们不可能移过去，虽然不影响使用，但是看着很烦。原因：这个目录其实是flink运行时由javacc生成的，我们编译完成后，可以在target目录找到它。
2025-02-19 15:37:26
165
原创 Flink源码编译报错Connect to repository.apache.org:443 [repository.apache.org/65.109.119.155] failed: Conne
开启vpn时，部分流量没有代理，即使是全局代理，也会有同样报错，解决方式：开启vpn TUN代理模式，即可代理本机所有流量。
2025-02-18 19:53:28
168
原创 flink源码编译时flink-runtime-web模块报错npm相关
看看这两个文件是否完整（看大小），如果不完整，删掉这个文件，再重新clean install，还不行可以自己去网上下载node.exe文件放进来。编译了三四次源码了，flink版本1.16 1.18 1.20，分别在各种不同环境下编译都遇到了这个报错，有时候node.js和npm一起报错。首先在flink-runtime-web的pom文件找到这一行，将npm镜像改为。这次我编译比较顺利，暂时没有遇到其他问题，以后有机会再收集其他的问题。node.js报错的话，找到本地仓库地址。
2025-01-27 15:46:32
1361
原创 PyFlink/Flink datastream api写ES无法写复合数据类型的一种解决方案
pyflink/flink 写ES 无法写复合数据类型？？？
2025-01-27 10:05:11
282
原创 编译flink源码报错Too many files with unapproved license: 8 See RAT report in
编译flink源码时报错 Too many files with unapproved license: 8 See RAT report in: D:\apache-maven-3.9.9\mvn_repo\flink-1.20.0\flink-formats\flink-avro\target\rat.txt。在IDEA的设置里找到Maven->Runner，VM Options添加 -Drat.skip=true。
2025-01-27 09:11:53
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人