jc_benben的专栏

windows平台的话增加一个环境变量即可变量：_JAVA_OPTIONS值：-Xmx1024M

介绍：DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能 方法一、直接下载DataX工具包：DataX下载地址 下载后解压至本地某个目录，进入bin目录，即可运行同步作业： $ cd {YOUR_DATAX_HOME}/bin$ pyt...

非实时同步工具DataX阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单，定义好配置json文件执行脚本就可以了，非常适合离线数据，增量数据可以使用一些编码的方式实现，但是也仅仅针对insert数据比较有效，update数据就不适合github地址：https://github.com/alibaba/DataXSqoo...

项目结构： 依次为：获取webservices返回json的数据类，数据库操作类，读取配置文件类，测试等获取webservices返回json的数据类：package com.wy.HttpRequestUtil;import java.io.ByteArrayOutputStream;import java.io.IOException;import java.io.I...

在使用kettle过程中，有些功能是kettle不提供的，这样就需要想办法，不过kettle中的java代码可以解决大部分问题，下边就展示使用java代码组件调用自己编写的jar包的过程1，创建java-jar包package test;import java.io.BufferedWriter;import java.io.File;import java.io.FileOutputSt...

原因：导入数据库的字符长度超过数据库所支持的字符串最大长度varchar2(max)解决：1，修改列为CLOB2，查找oracle11g或者12c中的ojdbc6.jar或者更新的jar驱动，放入kettle中，当然要匹配对应的kettle版本然后重新启动kettle执行任务即可...

jdbc连接cdb数据库时,url兼容以下2种模式:  "jdbc:oracle:thin:@127.0.0.1:1521:pdb"  "jdbc:oracle:thin:@127.0.0.1:1521/pdb"jdbc连接pdb数据库时url必须使用:" jdbc:oracle:thin:@127.0.0.1:1521/pdb"格式,若使用传统格式" :oracle:thin:@127.0.0....

webservice接口测试，需要用到suds库，suds只支持python2，如果是Python3.6版本，需要用到suds-jurko，1) 下载 https://pypi.python.org/pypi/suds/0.42）解压压缩包，放到Python安装路径下的scripts文件夹下面。3）然后在cmd命令行中，进入到suds-jurko-0.4.1.jurko.4文件下面，输入命令：py...

同进程查找JDNI服务比如说我们通过JNDI来查找Tomcat中配置的DataSource，代码如下Context context = new InitialContext();DataSource ds = (DataSource)context.lookup("java:/comp/env/jdbc/oracleds");将这两行代码放到JSP页面中，在new InitialContext()...

定义：XML 指可扩展标记语言（eXtensible Markup Language）。被设计用来传输和存储数据XPath 是一门在 XML文档中查找信息的语言。XPath可用来在 XML 文档中对元素和属性进行遍历。它是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。所以，对 XPath 的理解是很多高级 XML 应用的基础。JSON...

应用系统之间数据传输的几种方式第一种方案：socket方式   Socket方式是最简单的交互方式。是典型才C/S交互模式。一台客户机，一台服务器。服务器提供服务，通过IP地址和端口进行服务访问。而客户机通过连接服务器指定的端口进行消息交互。其中传输协议可以是TCP/UDP 协议。而服务器和约定了请求报文格式和响应报文格式。如图一所示目前我们常用的http调用，java远程调用，webservic...

kettle变量1，kettle变量有两种方式，一种是全局变量，在菜单栏->编辑->设置变量，进行全局变量的设置，二是上一步骤的值作为下一步骤的参数；另外还有kettle系统变量2，使用上，步骤变量需要使用?符号替换--英文下的，如果出现多个，依次替换；如果使用全局变量，使用%%vname%%或者${vname}进行替换

如果遇到原库，目标库全量同步，并且存在新增，更新，删除的情况，可以使用以下kettle方法：其中T_S和T_D是源表和目标表，合并到记录，最后执行不同的选择进行相应的操作，需要注意地方1，原表目标表需要根据关键字排序2，合并记录后新增一个标识字段，默认为flagfield，值有四种情况  “identical” 标识没变化 “changed” 有更新 ”deleted“

kettle 6.0.0 GA版本的一个bug

插入中文乱码显示????解决方法，在配置数据库连接->配置属性中配置编码为数据库的编码characterEncoding   UTF-8

kettle启动spoon提示 A Java Exception has occurred根本原因kettle对应的jdk版本不正确，window下查看：java  -version 查看环境变量：echo %path%看看java环境变量对应的版本，有可能安装了多个版本，另外，启动kettle根目录下的SpoonDebug查看日志也可看到一些有用的信息

ojdbc14.jar  在oracle安装目录或者其他java安装目录找到,放到根目录下的lib下边即可

需求： 通过kettle工具，通过webservice获取天气信息，写成xml格式文件思路： Kettle可通过两种选择获取webservice结果，一种是web服务查询(web service lookup)，还一种是利用HTTP POST，本文介绍的是使用web服务查询的方式，数据来源为http://www.webxml.com.cn/WebServices/WeatherWebS

有时候kettle中的组件不能满足需求情况下，可以使用java代码组件实现，以下是实现读取一个文本文件，但是文本文件中的分割符是个数不等的空字符，比如空格，像转为一个空格，再拆分字符串数组。这里只是一个简单用法环境是：kettle7.0具体组件拖拉过程不详述，这里主要介绍重点部分上图：文本文件输入组件中指向的文本文件内容为：gy 0.11 0.21 0.31ny...