%3c dd%3e html,Apache Hudi每周社区动态更新(2020.02.03-2020.02.09)

Apache Hudi社区在2020年2月3日至9日期间进行了多项更新,包括代码清理、依赖项重定位、Hudi与Apache Beam的集成探讨、Transformer的增强、用户反馈收集、Slack与Jira整合以及FAQs更新等。此外,还优化了使用Scala 2.12的编译步骤,新增了CLI命令,并修复了KafkaConsumer关闭的问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Apache Hudi社区周更新

2020.02.03 ~ 2020.02.09 Apache Hudi社区更新,包括开发、特性、改进和缺陷修复。

开发

[Code Cleanup] 关于统一Hudi代码清理和改进的讨论已经达成了一致,并且相应的PR(判断一个PR是否应该是MIMOR)已经被合并 [1]

[Relocate dependency] 关于使用maven-shade-plugin来relocate spark-avro依赖的讨论还在以及,欢迎参与讨论并给出你的意见 [2]

[Hudi & Beam Integration] 关于是否可以使用Apache Beam来写Hudi DAG的讨论,旨在集成Apache Hudi与Beam,在集成Flink之后,集成Beam将会很轻松 [3]

[Transformer Enhancement] 关于重构和增强Hudi Transformer的讨论,想增强Transformer的能力并且让其更灵活和通用,欢迎参与讨论 [4]

[Hudi Usage] 一封关于反馈Hudi使用情况的邮件列表,如果你使用了Hudi,请在这里 [1]反馈,后面我们将会添加至powered-by页面 [7]

[Slack and Jira Integration] 关于和jira和slack的讨论,经过讨论,后面salck#general channel中的讨论将会发送至邮件列表 [8]

[FAQs] 关于在FAQs页面添加常见的错误和解决方案的讨论,这样新用户通过FAQs页面便可排查些常见问题,欢迎补充FAQs页面 [9]

[1] https://lists.apache.org/thread.html/rc77546c7de7b2fa40330f889ed39dec7c0ab335e30e93d25745508ef%40%3Cdev.hudi.apache.org%3E [2] https://lists.apache.org/thread.html/r6bd85074eea3e807cde44ce9944c30966aa18c95e69b7bc9596d6398%40%3Cdev.hudi.apache.org%3E [3] https://lists.apache.org/thread.html/redcfecab2e2aba82760d86ccd9f8ef8d1cabaedaf21c20827b4edb50%40%3Cdev.hudi.apache.org%3E [4] https://lists.apache.org/thread.html/rfad2e71fc432922ca567432b7b6e1dd9c3bb102822177b73dbff2d90%40%3Cdev.hudi.apache.org%3E [5] https://lists.apache.org/thread.html/ra82d304380e3212533a533e9e3e16be0b17d39747000231a3c9a4adc%40%3Cdev.hudi.apache.org%3E [6] https://github.com/apache/incubator-hudi/issues/661 [7] https://lists.apache.org/thread.html/ra82d304380e3212533a533e9e3e16be0b17d39747000231a3c9a4adc%40%3Cdev.hudi.apache.org%3E [8] https://lists.apache.org/thread.html/r0575d916663f826a5078363ec913c53360afb372471061aa60fd380c%40%3Cdev.hudi.apache.org%3E [9] https://lists.apache.org/thread.html/r33559c5bb584cac24b2aa0b4f1cf6d42c883af07dd37f1099da991dd%40%3Cdev.hudi.apache.org%3E

特性

[Utilities] 优化使用scala-2.12编译步骤 [10] [INDEX] 允许在使用GLOBAL_BLOOM索引时更新分区路径 [11] [CLI] 为CLI添加'commits show archived'命令 [12]

[10] https://issues.apache.org/jira/browse/HUDI-585 [11] https://issues.apache.org/jira/browse/HUDI-499 [12] https://issues.apache.org/jira/browse/HUDI-571

缺陷

[Utilities] 关闭KafkaConsumer [13]

[13] https://issues.apache.org/jira/browse/HUDI-596

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值