qq_36551302的博客

id 为2的元组对应的 temp.lastTime 字段 是 从 tt2 表中选出的 updateTime 值为最新的 字段。其中id为1 的元组对应的temp.lastTime 字段 是 从tt1 表中选出的 updateTime 值为最新的，通过检查那个表是最新更新的，那个表就作为新表，而另外的表最为旧表被新表中的数据进行更新。首先创建一个快照表，然后将tt1，tt2表中的最大(最新)时间戳的值插入到快照表中。由于tt1，tt2所在的数据库是不同的，所以分别创建两个数据库的连接。

2、如果采用单次限制数据记录量，由于Kettle本身不支持数据分页，当数据表如果存在大量数据记录的时间戳都相同时，可能会导致部分数据无法同步过来。由于Kettle自身的特殊性以及在多个步骤中kettle自身处理数据库事务的特殊性，尝试了很多种方案，最终确定暂使用如下方案。更多数据实时同步方案，请参考笔者的另一篇博文：大数据时代，数据实时同步解决方案的思考—最全的数据同步总结。3、配置时，每个支队的数据汇聚时，都单独配置一个转换作业任务。4、Kettle支持字段映射，转换，以及作业定时运行等。

在本地运行时会发现标题中提到的问题：工具-资源库里面的按钮都是灰色的，无法点击。

数据库版本不对，例如我用mysql（8.4）数据库只创建成果三十张表，正常应该创建资源库生成46张表。从而也导致了用admin/admin登录失败。改成了mysql 8.0 版本没有这个问题。启动kettle以后，在右上角，没有出现创建资源库的connect字样,如下图所示。2.1找到repositories.xml文件。1） JDK版本不对，JDK需求为1.8版本。2.2 打开后，可以看到出现乱码的资源库描述。2.原因分析：资源库文件出现了乱码造成的。4、创建资源库缺少表原因。2.3 删除掉乱码部分。

2.如果数据库设置正确仍然存在中文乱码，则可能是因为有的客户端数据库默认的编码集不是UTF-8，我们只需要在输出时对输出的数据库进行编码配置。b.打开表输出——>数据库连接后的“编辑”——>Advanced,在下方的空白处输入：set names utf8;，设置数据库客户端的字符集为utf8。1.查看数据库的字符集是否是UTF-8(最常用的字符集)

2.鼠标点中你想进行错误处理的控件，右键选择定义错误处理。1、新建基本转换控件，这里便于方便，就建了2个。

解决中文转码的问题：在"表输入"控件里面输入中文，传输到col1变量里面，出错时，会看到中文需要转码的格式，如下col1=【通知】_hive服务检测异常，这句会被转换成col1=%E3%80%90%E9%80%9A%E7%9F%A5%E3%80%91_hive%E6%9C%8D%E5%8A%A1%E6%A3%80%E6%B5%8B%E5%BC%82%E5%B8%B8；可见http需要接收转码好的URL编码方式，ktr的http控件，就需要改成“http://XXXX?