datax 自定义transformer

最新推荐文章于 2024-11-14 14:41:33 发布

原创

最新推荐文章于 2024-11-14 14:41:33 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了如何在DataX中创建并使用自定义的Transformer，具体步骤包括编写YoreDecryptTransformer类，实现evaluate方法进行AES解密操作，配置Maven项目依赖，以及生成并放置transformer.json配置文件。此外，还提供了加载和注册Transformer的代码片段。

datax 自带的transformer ：

自定义transformer源码

TransformerRegister的loadTransformerFromLocalStorage方法，该方法首先会查找datax目录下的local_storage/transformer的目录并便利transformer目录，加载transformer目录下的transformer.json文件，并加载目录下的jar包比如一个叫udf_aes的transformer结构如下所示

//获取目录并遍历$datax_home/local_storage/transformer
        String[] paths = new File(CoreConstant.DATAX_STORAGE_TRANSFORMER_HOME).list();
        if (null == paths) {
            return;
        }

        for (final String each : paths) {
            try {
                if (transformers == null || transformers.contains(each)) {
                    loadTransformer(each); //便利并注册transformer
                }
            } catch (Exception e) {
                LOG.error(String.format("skip transformer(%s) loadTransformer has Exception(%s)", each, e.getMessage()), e);