Java 调用 Kettle API 实现数据导入 Demo

最新推荐文章于 2024-07-02 06:15:57 发布

原创

最新推荐文章于 2024-07-02 06:15:57 发布 · 1.7k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#java

本文介绍如何使用Java调用Kettle API来实现数据的导入导出功能，通过示例代码详细展示了如何生成并执行Kettle的转换(ktr)文件，包括数据库连接配置、步骤定义及执行流程。

Java 调用 Kettle API 实现数据导入 Demo

开始执行kettle的转换生成.ktr文件

依赖
在这里插入图片描述

package com.kettle.demo.kettle;
import net.sf.jsqlparser.statement.insert.InsertModifierPriority;
import org.apache.commons.io.FileUtils;
import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.database.DatabaseMeta;
import org.pentaho.di.core.exception.KettleDatabaseException;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.core.exception.KettleXMLException;
import org.pentaho.di.core.plugins.PluginRegistry;
import org.pentaho.di.core.plugins.StepPluginType;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransHopMeta;
import org.pentaho.di.trans.TransMeta;
import org.pentaho.di.trans.step.StepMeta;
import org.pentaho.di.trans.steps.insertupdate.InsertUpdateMeta;
import org.pentaho.di.trans.steps.tableinput.TableInputMeta;

import java.io.File;
import java.util.Arrays;

/**
 * @param
 * @author zcs
 * @date 2020/08/07
 * @description
 * @return
 */
public class TransDemo {
   
   
    public static TransDemo transDemo;

    /**
     * 两个库中的表名
     */
    public static String bjdt_tablename = "kettle_ceshi";
    public static String kettle_tablename = "kettle_demo";

    /**
     * 数据库连接信息,适用于DatabaseMeta其中 一个构造器DatabaseMeta(String xml)
     */


    public static final String[] databasesXML = {
   
   

            "<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +
                    "<connection>" +
                    "<name>bjdt</name>" +
                    "<server>localhost</server>" +
                    "<type>Mysql</type>" +
                    "<access>Native</access>" +
                    "<database>ceshi</database>" +
                    "<port>3306</port>" +
                    "<username>root</username>" +
                    "<password>123456</password>" +
                    "</connection>",
            "<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +
                    "<connection>" +
                    "<name>kettle</name>" +
                    "<server>ip地址</server>" +
                    "<type>Mysql</type>" +
                    "<access>Native</access>" +
                    "<database>数据库名称</database>" +
                    "<port>端口号</port>" +
                    "<username>用户名</username>" +
                    "<password>密码</password>" +
                    "</connection>"


    };



    /**
     * 生成一个转化,把一个数据库中的数据转移到另一个数据库中,只有两个步骤,第一个是表输入,第二个是表插入与更新操作
     * @return
     * @throws KettleXMLException
     *
     * "SELECT name,password  FROM "+bjdt_tablename +" limit 0 ,10";
     */
    public TransMeta generateMyOwnTrans(String sql,String sourceName,String targetName,String [] keyLookup,String [] keyStream,String [] keyStream2,String [] keyCondition,String [] upDateLookup,String [] updateStream,String targentTableName,Boolean [] updateOrNot) throws KettleXMLException, KettleDatabaseException {
   
   
        System.out.println("==========开始执行==========");
        TransMeta transMeta = new TransMeta();
        //设置转化的名称
        transMeta.setName