<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Milesian的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Milesian</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Milesian]]></copyright><item><title><![CDATA[FlinkCDC x Paimon进行数据同步 使用paimon-flink-action包 NoClassDefFoundError 依赖问题解决]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/148454065</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/148454065</guid><author>Milesian</author><pubDate>Thu, 05 Jun 2025 17:27:10 +0800</pubDate><description><![CDATA[终极解决方案：
第一步：打一个flink-connector-mysql-cdc-3.4.0.jar的胖包，并加入kafka/connect的重定位配置...]]></description><category></category></item><item><title><![CDATA[Pyflink二次开发后如何打包代码,并构建成docker镜像？]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/148026433</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/148026433</guid><author>Milesian</author><pubDate>Sat, 17 May 2025 12:45:41 +0800</pubDate><description><![CDATA[启动一个交互容器docker run -u root -it --rm flink:2.0.0 /bin/bash。在flink源码处，直接将整个flink-parent进行编译(clean intall)，可以看到pyflink.zip文件，将其替换为我们刚才生成的pyflink.zip。然后到你的python环境，比如pycharm，来执行pip命令安装即可。# 官方版的pyflink 应该不用安装了，但是我是先安装了再覆盖的。根据官网的指引，安装python和pyflink。]]></description><category></category></item><item><title><![CDATA[Pyflink 报错：java.net.MalformedURLException: no protocol: [‘file:/opt/flink/opt/flink-python-1.xx...]]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/147954811</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/147954811</guid><author>Milesian</author><pubDate>Sat, 17 May 2025 12:01:24 +0800</pubDate><description><![CDATA[虽然在2.0.0已经解决且合并，但是我公司是用的docker来部署flink集群，docker的官方库的flink 2.0.0是5月19日更新的，这个bug修复是5月20日合并的，而且pip库也是同样还没更新，没办法了，只能自己从最新的源码来构建docker镜像和python库了，如果读者不确定你所在的版本，这个bug有没有修复，可以在flink依赖库中搜索：flink-python/pyflink/common/configuration.py。但是后来我翻了一下社区的邮件，发现有人提过这个问题了。]]></description><category></category></item><item><title><![CDATA[Flink: kafka sink如何指定key？自定义Schema: DynamicKeySerializer ]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/147422655</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/147422655</guid><author>Milesian</author><pubDate>Tue, 22 Apr 2025 15:29:44 +0800</pubDate><description><![CDATA[官方的kafka-connector中的kafka sink api 不支持自己指定key，于是我就自己动手写了一个schema来支持这个功能。]]></description><category></category></item><item><title><![CDATA[Pyflink SimpleStringSchema反序列化器的局限性问题解决，自定义DeserializationSchema]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/146497038</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/146497038</guid><author>Milesian</author><pubDate>Tue, 25 Mar 2025 11:00:27 +0800</pubDate><description><![CDATA[pyflink 在使用kafka source时，可能遇到SimpleStringSchema无法反序列化而报错的情况，比如debezium产生的墓碑事件（value为空）。我们可以自定义反序列化器来解决这个问题。]]></description><category></category></item><item><title><![CDATA[Pyflink自定义Sink实现，以Neo4j Sink为例]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/146231552</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/146231552</guid><author>Milesian</author><pubDate>Thu, 13 Mar 2025 16:36:23 +0800</pubDate><description><![CDATA[Flink Neo4jSink 的java实现和python实现。java一个小时能写出三种实现，老架构、新架构、新架构v2。pyflink是真的不好用，非必要还是用java api！]]></description><category></category></item><item><title><![CDATA[首次贡献Flink源码，竟贡献了3600+行？记录首次PR经历！]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/145853602</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/145853602</guid><author>Milesian</author><pubDate>Tue, 25 Feb 2025 16:03:49 +0800</pubDate><description><![CDATA[祝大家早日成为Contributor！]]></description><category></category></item><item><title><![CDATA[Flink源码编译完成之后，部分代码构建后显示找不到]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/145730687</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/145730687</guid><author>Milesian</author><pubDate>Wed, 19 Feb 2025 15:37:26 +0800</pubDate><description><![CDATA[比如说以下代码：flink-table/flink-sql-parser/src/main/java/org/apache/flink/sql/parser/dql/SqlShowDatabases。另外建议强迫症选手在此后不要点开ParseException类哈，不然会报红让你把目录已到项目根目录去，显然咱们不可能移过去，虽然不影响使用，但是看着很烦。原因：这个目录其实是flink运行时由javacc生成的，我们编译完成后，可以在target目录找到它。]]></description><category></category></item><item><title><![CDATA[Flink源码编译报错Connect to repository.apache.org:443 [repository.apache.org/65.109.119.155] failed: Conne]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/145713414</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/145713414</guid><author>Milesian</author><pubDate>Tue, 18 Feb 2025 19:53:28 +0800</pubDate><description><![CDATA[开启vpn时，部分流量没有代理，即使是全局代理，也会有同样报错，解决方式：开启vpn TUN代理模式，即可代理本机所有流量。]]></description><category></category></item><item><title><![CDATA[flink源码编译时flink-runtime-web模块报错npm相关]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/145380419</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/145380419</guid><author>Milesian</author><pubDate>Mon, 27 Jan 2025 15:46:32 +0800</pubDate><description><![CDATA[看看这两个文件是否完整（看大小），如果不完整，删掉这个文件，再重新clean install，还不行可以自己去网上下载node.exe文件放进来。编译了三四次源码了，flink版本1.16 1.18 1.20，分别在各种不同环境下编译都遇到了这个报错，有时候node.js和npm一起报错。首先在flink-runtime-web的pom文件找到这一行，将npm镜像改为。这次我编译比较顺利，暂时没有遇到其他问题，以后有机会再收集其他的问题。node.js报错的话，找到本地仓库地址。]]></description><category></category></item><item><title><![CDATA[PyFlink/Flink datastream api写ES无法写复合数据类型的一种解决方案]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/145375898</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/145375898</guid><author>Milesian</author><pubDate>Mon, 27 Jan 2025 10:05:11 +0800</pubDate><description><![CDATA[pyflink/flink 写ES 无法写复合数据类型？？？]]></description><category></category></item><item><title><![CDATA[编译flink源码报错Too many files with unapproved license: 8 See RAT report in]]></title><link>https://blog.youkuaiyun.com/Milesian/article/details/145374803</link><guid>https://blog.youkuaiyun.com/Milesian/article/details/145374803</guid><author>Milesian</author><pubDate>Mon, 27 Jan 2025 09:11:53 +0800</pubDate><description><![CDATA[编译flink源码时报错 Too many files with unapproved license: 8 See RAT report in: D:\apache-maven-3.9.9\mvn_repo\flink-1.20.0\flink-formats\flink-avro\target\rat.txt。在IDEA的设置里找到Maven->Runner，VM Options添加 -Drat.skip=true。]]></description><category></category></item></channel></rss>