Spark学习:实现Compact table command

我爱夜来香A

已于 2022-05-28 11:06:09 修改

阅读量241

点赞数 1

分类专栏： Spark 文章标签： spark 学习 scala

于 2022-05-21 21:37:30 首次发布

本文链接：https://blog.youkuaiyun.com/nzbing/article/details/124903752

版权

Spark 专栏收录该内容

26 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何在Spark中实现Compact Table命令，包括修改SqlBase.g4、Maven编译、SparkSqlParser.scala的调整、添加compactTableCommand类以及解决报错的过程。在遇到报错时，通过重新配置Hadoop环境，最终成功将小文件合并，并通过验证确认命令效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

实现compact table command

要求:添加添加 compact table 命令，用于合并小文件

一、修改SqlBase.g4

#statement下添加
| COMPACT TABLE target=tableIdentifier partitionSpec?
(INTO fileNum=INTEGER_VALUE FILES)?                        #compactTable
#ansiNonReserved下添加
| FILES
#nonReserved下添加<