这篇任然是准备工作,准备什么呢?准备python脚本了。

在这里,我们要做的事情是,理清思路,想好,要怎么设计,之前已经整好了本机测试的测试job,其实那也不是测试job,只是指向本地mysql的job,后期整合要改一下库名。接下来呢,我们需要整一个测试python来跑这个同步job,如果没问题的话,我们试着写两个run方法,然后没问题就可以上了。解释一下步骤:
1、开发,测试类生产job(已完成)
2.开发,测试生产环境python(未完成)
3.开发,生产环境python整合job(未完成)
这三部已经完成了一步了,在做第二步的时候已经不是本地了,而是远程服务器,linux环境,所以,我们需要这三样东西准备:
1.linux python脚本位置,来准备用作模板开发测试python。
2.linux服务器配置。
3.生产kettle库的配置信息完整。
那么,我们先一个一个看一下吧,
首先拿到linux脚本位置,down下来做开发模板:

那,这个最后一个文件,out文件就是日志文件,上面一个就是python脚本了,接下来,需要做的是,编写测试脚本。来吧,写python。
首先我直接粘贴脚本的代码,项目比较紧张,就不教学了,网上看一下python的hello world吧,直接粘贴了:

好,我们xshell连接一下服务器:

填好用户名和密码,进入目录,

我们把写好的python脚本放进去,然后nohup运行。但是,

原来是因为:

没有执行权限,那么得:chmod +x /opt/目录/script.py

具有excute权限。执行nohup

哎,又是报错,我已经弄了半个小时了,最后没有办法,网上查了很久反正就是没有资源库啥的,python脚本应该没问题,那我就吧脚本的kitchen拿出来了,放到kettle里面单独跑

这么总行了吧,结果,很失望:

好难受啊,为什么就是连不上资源库啊,想想原因,不能被这个卡住了啊。
然后我在10分钟之后,脑抽su hive
切换了用户,然后用kitchen执行结果,大喜:

终于报这个错了,没有这个job,厉害了,我的哥,现在问题有点对了,嘿嘿嘿。我们改。
改好了之后,又错了两次,我直接去粘贴名字,然后:

哇,好开心,好友成就感啊:

哇!!!!高兴的受不了,然后赶紧看看mysql数据库里面的数据来了没有:

也来了,好激动,而且打字间,邮件也来了,更加激动了,马上去抽支烟庆祝一下,因为到了这里距离成功就已经走了一大半了。

爽就一个字:

好了,继续,这步完成了,接下来我们有两部测试,一个是用python测试成功,第二个,是用nohup后台运行,然后,就开发生产了,然后生产都开发好了,以后还有什么开发定时任务搞不定呢?话不多说,继续。
这里我们修改脚本时间,进入python脚本目录,执行python script.py然后:

可以看到程序进入了阻塞,等待时间到达,时间是15:48,而现在是15点46,可以稍等会儿,玩玩手机啥的。

成功,很完美,那么数据呢?也来了。

ok,最后一步测试,nohup一下,定时跑,成功了就搞定。对了,这里补充一下,因为每次跑完数据,验证完了数据库数据,我会清空一下,这张测试表,所以,不存在数据是上一次的情况。比方现在,又要删除了。等待下次测试来数据:

接着nohup了。