PyFlink
文章平均质量分 82
分享在使用pyflink时遇到的问题和解决方案。
Hirson的大数据之路
实时/离线大数据开发、flink萌新,欢迎讨论
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Pyflink二次开发后如何打包代码,并构建成docker镜像?
启动一个交互容器docker run -u root -it --rm flink:2.0.0 /bin/bash。在flink源码处,直接将整个flink-parent进行编译(clean intall),可以看到pyflink.zip文件,将其替换为我们刚才生成的pyflink.zip。然后到你的python环境,比如pycharm,来执行pip命令安装即可。# 官方版的pyflink 应该不用安装了,但是我是先安装了再覆盖的。根据官网的指引,安装python和pyflink。原创 2025-05-17 12:45:41 · 508 阅读 · 0 评论 -
Pyflink 报错:java.net.MalformedURLException: no protocol: [‘file:/opt/flink/opt/flink-python-1.xx...]
虽然在2.0.0已经解决且合并,但是我公司是用的docker来部署flink集群,docker的官方库的flink 2.0.0是5月19日更新的,这个bug修复是5月20日合并的,而且pip库也是同样还没更新,没办法了,只能自己从最新的源码来构建docker镜像和python库了,如果读者不确定你所在的版本,这个bug有没有修复,可以在flink依赖库中搜索:flink-python/pyflink/common/configuration.py。但是后来我翻了一下社区的邮件,发现有人提过这个问题了。原创 2025-05-17 12:01:24 · 504 阅读 · 2 评论 -
Pyflink SimpleStringSchema反序列化器的局限性问题解决,自定义DeserializationSchema
pyflink 在使用kafka source时,可能遇到SimpleStringSchema无法反序列化而报错的情况,比如debezium产生的墓碑事件(value为空)。我们可以自定义反序列化器来解决这个问题。原创 2025-03-25 11:00:27 · 646 阅读 · 0 评论 -
Pyflink自定义Sink实现,以Neo4j Sink为例
Flink Neo4jSink 的java实现和python实现。java一个小时能写出三种实现,老架构、新架构、新架构v2。pyflink是真的不好用,非必要还是用java api!原创 2025-03-13 16:36:23 · 2095 阅读 · 0 评论 -
PyFlink/Flink datastream api写ES无法写复合数据类型的一种解决方案
pyflink/flink 写ES 无法写复合数据类型???原创 2025-01-27 10:05:11 · 372 阅读 · 0 评论
分享