weixin_39401000的博客

原创 dataX hdfsWrite 二次开发写入parquet文件功能

dataX hdfsWrite 二次开发写入parquet文件功能 背景 目前，dataX的hdfsWrite只支持TEXT以及ORC两种文件格式的写入，但是在查询性能上Parquet要优于前两者，并且spark默认的写入格式也是Parquet。所以需要在hdfsWrite的基础上进行二次开发，新增写入Parquet文件的功能。 操作步骤： 1、将hdfswriter-0.0.1-SNAPSHOT.jar下载下来，替换到$datax_HOME/plugin/writer/hdfswriter目录下 2、