突发奇想,能不能把异步响应式编程的rxJava(主要用于Android开发)应用于ETL,想法源于rxJava中提供了一系列operators如distinct、concatWith、count、filter、groupBy、limit、toSortedList、isEmpty等,感觉有点像SQL。
实际试验后,原来rxJava还是比较适合于处理事件流而不是ETL,原因是rxJava缺乏dataframe这种对象,不能直接操控指定字段!so...总结一下,比较适合处理ETL的方式有:
1、图形工具如datastage、kettle等
2、SQL
3、SAS 或 R 或 COBOL
4、pandas + Python
5、Spark + sparkSql (+ Scala/Java/Python)
6、Kettle jar 包 + Java (实现起来还是有点麻烦的~)
写了个rxJava实现,想看的朋友可以参考《 rxJava例子》
实际试验后,原来rxJava还是比较适合于处理事件流而不是ETL,原因是rxJava缺乏dataframe这种对象,不能直接操控指定字段!so...总结一下,比较适合处理ETL的方式有:
1、图形工具如datastage、kettle等
2、SQL
3、SAS 或 R 或 COBOL
4、pandas + Python
5、Spark + sparkSql (+ Scala/Java/Python)
6、Kettle jar 包 + Java (实现起来还是有点麻烦的~)
写了个rxJava实现,想看的朋友可以参考《 rxJava例子》

本文探讨了将rxJava用于ETL(Extract, Transform, Load)处理的可能性,并通过实验发现rxJava更适合处理事件流而非ETL任务。文章还列举了几种更适配ETL操作的技术方案。
1379

被折叠的 条评论
为什么被折叠?



