Flink Sql on Zeppelin（3）——UDF&Redis维表

UDF

概述

• UDF在我们的Sql开发中，是一个必不可少的帮手，通过Sql+UDF能够解决我们90%的问题
• Flink目前提供了大量的内置UDF供我们使用，详细可以参考官方文档
• 不过有些时候，内置的UDF并不满足我们的需求，那就需要自定义UDF
• 下面我们就来看看如何在Zeppelin中使用自定义UDF

使用

• 在Flink中，使用代码注册UDF有两种方式
  • tEnv.registerFunction("test",new TestScalarFunc());
  • tEnv.sqlUpdate("CREATE FUNCTION IF NOT EXISTS test AS 'udf.TestScalarFunc'");
• 而在Zeppelin中，也有多种方式
  • 通过编写Scala代码，然后通过上面两种方式注入
  • flink.execution.jars加载指定Jar加载进Flink集群中，之后通过上面两种方式注册UDF。使用起来很不爽，首先你得知道有哪些UDF，其次你得挨个注册，而且你还得知道每个UDF的全类名，很麻烦。那么有没有更好的方式呢？
  • flink.udf.jars自动将Jar包中所有UDF注册，相当方便，下面演示一下
    • 先加一下配置参数

      %flink.conf
      flink.udf.jars /home/data/flink/lib_me/flink-udf-1.0-SNAPSHOT.jar
      

    • 输出一下，看看有哪些UDF

      %flink.ssql(type=update)
      show functions
      

      
    • 很完美，将我们所有的UDF都注册了进来，我们再来验证一下正确性

      %flink.ssql(type=update)
      -- 连from哪个表都没必要写，Zeppelin实在太方便了	
      select javaupper('a')
      

      
    • 和我们预期的一样，将字符a转换成了A
  • 那么，UDF的使用介绍就到这里

Redis维表

概述

• 之前在写Flink Sql系列的时候，给大家演示了如何写一个支持D