关于Kettle和webService的一个Demo，整整思路

最新推荐文章于 2021-08-04 22:09:00 发布

原创

最新推荐文章于 2021-08-04 22:09:00 发布 · 708 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#etl #大数据

本文介绍了如何结合Kettle和WebService实现数据处理流程。通过编写webService服务端生成文件，然后利用Kettle的job操作该文件。在实践中遇到文件格式转换问题（Unix转DOS）、动态文件名的实现以及并发高时可能出现的问题。针对文件名动态化，提出了覆盖文件并复制备份的方法，但并发问题尚待解决。此外，还讨论了文本文件中不规范数据的处理挑战。

索引

自己写个webService服务端，让客户调用，客户调用后生成一个格式文件，再叫Kettle执行job，操作这个文件。
于是思路如下
webservice：

 @Override
    public void saveUser( User user) {
   
   
        //生成txt文件
        FileUtil.test(user);
        //调用kettle
        String s = "cmd /c start D:\\pdi-ce-9.0.0.0-423\\data-integration\\pan.bat -rep=local -user=admin -pass=123456 -trans=test -dir=/";
        Process ps = null;
        try {
   
   
            ps = Runtime.getRuntime().exec(s);
        } catch (IOException e) {
   
   
            e