环境:
CentOS7.6
CDH6.3.1
Flink1.4.0
PYTHON3.7.12
其中,Flink已经集成到CDH6.3.1中。
简介:
这里主要描述的是通过sql client来调用 python udf,以达到在sql client中使用自定义函数的目的。
python udf 脚本如下:
# more test.py
from pyflink.table import DataTypes
from pyflink.table.udf import *
@udf(input_types=[DataTypes.BIGINT(), DataTypes.BIGINT()], result_type=DataTypes.BIGINT())
def add(i, j: int):
return i + j
创建初始化sql文件:
# more /data/liaoyk/onekick/flink_test/init.sql
CREATE FUNCTION add AS 'test.add' LANGUAGE PYTHON;
本文介绍了如何在Flink 1.4.0环境下,结合CDH6.3.1,通过SQL客户端调用Python UDF。详细步骤包括编写Python UDF脚本、创建初始化SQL文件,并在sql-client.sh中执行。尽管测试返回正确结果,但在日志中出现Flink Job找不到的错误,提示可能需要考虑stream或batch的区别,作者计划进一步研究。
订阅专栏 解锁全文
1242

被折叠的 条评论
为什么被折叠?



