
大数据
文章平均质量分 74
Tango小黄
这个作者很懒,什么都没留下…
展开
-
Presto的IN条件语句的实现逻辑是限定范围查询
Presto作为一个对大量数据进行查询的引擎,默认每次查询从连接器中获取数据的体量都会是很大的,而连接器五花八门,presto不敢保证每个连接器都具备快速精准定位数据的能力,presto更相信自己基于内存的数据筛选和计算能力,因此presto只给了连接器一个范围条件,让连接器进行粗滤筛选,自己来做最终的精准定位......原创 2022-08-26 20:18:29 · 1521 阅读 · 1 评论 -
flink-mysql-cdc读取mysql timestamp时间戳数据类型时区异常问题
flink-mysql-cdc读取mysql timestamp时间戳数据类型存在时区异常问题,可以通过添加flink配置解决原创 2022-08-03 20:30:14 · 5870 阅读 · 3 评论 -
flink-mysql-cdc源表配置变动导致作业失效
如果修改了flink-mysql-cdc配置的表名范围,导致出现一个新的表,那么无论如何都无法将该表加入到状态中原创 2022-07-08 14:58:23 · 3051 阅读 · 0 评论 -
Presto加载插件时的白名单机制
由于presto加载插件的时候,插件提供的类并不会全部加载,对于部分指定的包下的类,presto会选择加载自带的类,因此,在未来开发插件的时候,在添加项目依赖时要多注意一下presto是否将其加入了“白名单”,如果是的话最好选择和presto一样的版本。原创 2022-03-18 14:27:50 · 2314 阅读 · 0 评论 -
Hive udf上线相关
简述本文旨在讲解开发好的hive udf如何上线到服务器并使用,关于如何开发hive udf不在本文讨论范畴内。创建永久函数对于长期使用的udf,推荐创建永久函数,这样就不用每次使用函数前都创建临时函数,下面这个命令需要先提前将jar包添加到classpath,关于如何添加jar到classpath查看下一章节。CREATE FUNCTION [db_name.]function_name AS class_name;如果没有加到classpath里可以使用命令:CREATE FUNCTION原创 2022-02-19 12:01:33 · 1089 阅读 · 0 评论 -
Hive UDF 开发过程中遇到的DoubleWritable问题
发现问题在开发Hive UDF的时候遇到了一个异常:java.lang.ClassCastException: org.apache.hadoop.io.DoubleWritable cannot be cast to org.apache.hadoop.hive.serde2.io.DoubleWritable排查原因查看编写的udf代码:@Overridepublic Object evaluate(DeferredObject[] arguments) throws HiveExcept原创 2022-03-01 15:11:16 · 2624 阅读 · 0 评论