Apache Hudi社区周更新
2020.02.03 ~ 2020.02.09 Apache Hudi社区更新,包括开发、特性、改进和缺陷修复。
开发
[Code Cleanup] 关于统一Hudi代码清理和改进的讨论已经达成了一致,并且相应的PR(判断一个PR是否应该是MIMOR)已经被合并 [1]
[Relocate dependency] 关于使用maven-shade-plugin来relocate spark-avro依赖的讨论还在以及,欢迎参与讨论并给出你的意见 [2]
[Hudi & Beam Integration] 关于是否可以使用Apache Beam来写Hudi DAG的讨论,旨在集成Apache Hudi与Beam,在集成Flink之后,集成Beam将会很轻松 [3]
[Transformer Enhancement] 关于重构和增强Hudi Transformer的讨论,想增强Transformer的能力并且让其更灵活和通用,欢迎参与讨论 [4]
[Hudi Usage] 一封关于反馈Hudi使用情况的邮件列表,如果你使用了Hudi,请在这里 [1]反馈,后面我们将会添加至powered-by页面 [7]
[Slack and Jira Integration] 关于和jira和slack的讨论,经过讨论,后面salck#general channel中的讨论将会发送至邮件列表 [8]
[FAQs] 关于在FAQs页面添加常见的错误和解决方案的讨论,这样新用户通过FAQs页面便可排查些常见问题,欢迎补充FAQs页面 [9]
[1] https://lists.apache.org/thread.html/rc77546c7de7b2fa40330f889ed39dec7c0ab335e30e93d25745508ef%40%3Cdev.hudi.apache.org%3E [2] https://lists.apache.org/thread.html/r6bd85074eea3e807cde44ce9944c30966aa18c95e69b7bc9596d6398%40%3Cdev.hudi.apache.org%3E [3] https://lists.apache.org/thread.html/redcfecab2e2aba82760d86ccd9f8ef8d1cabaedaf21c20827b4edb50%40%3Cdev.hudi.apache.org%3E [4] https://lists.apache.org/thread.html/rfad2e71fc432922ca567432b7b6e1dd9c3bb102822177b73dbff2d90%40%3Cdev.hudi.apache.org%3E [5] https://lists.apache.org/thread.html/ra82d304380e3212533a533e9e3e16be0b17d39747000231a3c9a4adc%40%3Cdev.hudi.apache.org%3E [6] https://github.com/apache/incubator-hudi/issues/661 [7] https://lists.apache.org/thread.html/ra82d304380e3212533a533e9e3e16be0b17d39747000231a3c9a4adc%40%3Cdev.hudi.apache.org%3E [8] https://lists.apache.org/thread.html/r0575d916663f826a5078363ec913c53360afb372471061aa60fd380c%40%3Cdev.hudi.apache.org%3E [9] https://lists.apache.org/thread.html/r33559c5bb584cac24b2aa0b4f1cf6d42c883af07dd37f1099da991dd%40%3Cdev.hudi.apache.org%3E
特性
[Utilities] 优化使用scala-2.12编译步骤 [10] [INDEX] 允许在使用GLOBAL_BLOOM索引时更新分区路径 [11] [CLI] 为CLI添加'commits show archived'命令 [12]
[10] https://issues.apache.org/jira/browse/HUDI-585 [11] https://issues.apache.org/jira/browse/HUDI-499 [12] https://issues.apache.org/jira/browse/HUDI-571
缺陷
[Utilities] 关闭KafkaConsumer [13]
[13] https://issues.apache.org/jira/browse/HUDI-596