
数据开发工具
数据开发工具软件及其使用
Karma1670
这个作者很懒,什么都没留下…
展开
-
Kettle-将不同表的数据输出到同一个xls表的不同sheet
如图所示:左边是数据表,右边是sheet名称。xls名称为Databank_UNO_month需要注意的是执行顺序是1.FAST指标 2.AIPL指标 3.。。。。。。 依次类推使用【阻塞数据知道步骤都完成】控件控制执行顺序输出表配置1.因为FAST指标是第一个sheet.输出表配置如下2.AIPL指标是第二个sheet.输出表配置和第一个sheet FAST指标不一样。如下图所示。...原创 2020-09-18 11:19:57 · 2562 阅读 · 5 评论 -
oracle goldengate (ogg)高版本&历史版本下载地址
高版本:https://www.oracle.com/middleware/technologies/goldengate-downloads.html历史版本:http://edelivery.oracle.com/osdc/faces/Home.jspx一些低版本的需要在第二个网址里面才能找到。下载之前都登录Oracle账号。原创 2021-07-28 15:30:36 · 4551 阅读 · 0 评论 -
Kettle 参考书【Pentaho Kettle 解决方案:使用PDI构建开源ETL解决方案】
关于Kettle的书 找半天找到一本 【Pentaho Kettle 解决方案:使用PDI构建开源ETL解决方案】原创 2020-05-17 20:27:55 · 1002 阅读 · 1 评论 -
tableau prep builder etl工具使用注意事项
server版本号:2020.4.01.使用本地的tableau prep builder来做etl流程,不要图方便在server网页端开发流程,会产生很多莫名其妙的报错。比如数据缓存问题。流程在不断的更改迭代,但最终的输出数据却没变,重启server端有时候也没有用。tableau 的内部机制不适合于边修改流程边测试。2.流程的数据库连接每次编辑流程都需要重新输入密码,发布流程后要运行还是需要重新输入数据库密码,很烦人。3.流程依赖问题,b流程依赖于a流程的输出。如果a流程更改了流程里面的环节原创 2021-05-25 21:11:24 · 1693 阅读 · 2 评论 -
基于日志的CDC(变化数据捕获)
场景:源端往目标端同步数据,如果源端数据记录被删除,如何保证目标端数据和源端数据一致?在这里使用常规的etl工具做抽取是不行的,只能插入和更新已有的记录。这里使用基于日志的变化数据捕获---oracle golden gate. 坏处是这个软件不如etl工具容易使用,不好维护。...原创 2021-07-19 21:56:57 · 841 阅读 · 0 评论 -
DataX执行报错error occurred during initialization of vm.could not reserve enough space for object heap
使用了最新python3.9.导致报错。然后以为是给的内存条少了。但是这里给了1g内存。调大到4g还是同样的错误。怀疑是python版本太高了。卸载掉python3.9 使用3.6.发现使用下列2种都报错。python datax.py .\job\job.jsonpython datax.py ./job/job.json使用绝对路径才可以python datax.py D:\app\datax\job\job.json...原创 2021-07-30 16:25:02 · 936 阅读 · 0 评论 -
Windows10安装DataX
datax下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz原创 2021-07-30 14:24:05 · 493 阅读 · 0 评论 -
开源数据仓库建模软件pdman
PDMan数据库建模下载地址:Windows/Mac/Linuxchiner Releases - Gitee原创 2021-09-17 16:35:31 · 604 阅读 · 0 评论 -
调度工具-海豚调度
Apache DolphinScheduler | 首页原创 2021-12-31 11:17:22 · 2148 阅读 · 0 评论 -
开源数据实时采集和ETL工具 streamsets
如何在CDH中安装和使用StreamSets - 云+社区 - 腾讯云原创 2021-09-17 16:52:38 · 979 阅读 · 0 评论 -
文本/代码编辑器notepad++ mac os上替代品 notepadnext 和 notepad--
地址: https://github.com/dail8859/NotepadNext/releases。原创 2022-12-14 14:35:03 · 7975 阅读 · 1 评论