
hudi
没有文化,啥也不会
这个作者很懒,什么都没留下…
展开
-
spark对接hudi遇到的坑
1.spark-sql读写MOR 的hudi表spark版本:2.4.3hudi版本:0.9.0按照官网文档可正常独写cow表,但读写mor时报错:Caused by: org.apache.hudi.exception.HoodieException: Unable to load class at org.apache.hudi.common.util.ReflectionUtils.getClass(ReflectionUtils.java:57) at org.apache..原创 2021-12-06 14:34:35 · 5871 阅读 · 0 评论 -
Hudi:初识Hudi
是什么?Hudi是什么?可以说Hudi是一个数据湖或是数据库,但它又不是数据湖或是数据库。笔者理解为Hudi是不带计算功能Hive。众所周知,Hive是一个计算引擎,但是现在我们更多的是使用Spark基于Hive对HDFS中文件提供的Schema信息和元数据进行计算,而Hive作为计算引擎的功能逐渐被忽略,更多的是将Hive视作一个“数据库”(尽管它并不是),而Hudi则是完善了Hive的这部分功能。使用Hudi对HDFS或是其他存储系统中的文件进行管理,使用Hudi创建相应的表,一样可以使用H原创 2020-07-07 23:18:30 · 12751 阅读 · 4 评论