
数据治理
未竟
这个作者很懒,什么都没留下…
展开
-
迁移ElasticSearch老集群中的数据到新集群
思路:在网上查找迁移方法,发现elasticdump工具可以实现数据迁移,故安装测试。在一台能够同时访问新老集群的Windows电脑中安装elasticdump工具,然后执行命令即可,具体步骤如下:原创 2021-06-19 18:46:55 · 551 阅读 · 3 评论 -
迁移老集群的Hive表结构和数据到新集群中
总体思路:1、从旧集群中导出表结构,库和表众多的情况下,使用shell脚本批量导出2、从旧集群导出的sql建表语句做一些修改,在新集群中执行即可3、使用distcpm原创 2021-06-18 16:50:49 · 1363 阅读 · 2 评论 -
springboot实现读kafka数据写入文件并按指定行数分割文件
1、需求描述大致需求是这样的,kafka作为数据缓存通道,接收前端设备上传的数据,现在需要实现读取kafka的数据,再保存到文件,但是不能全部写入一个文件,会导致一个文件过大,需要按照指定行数分割文件,按行数是为了方便核对数据量,前端上传了多少数据,kafka接收了多少数据,最终写入文件多少数据。另外需要说明传入的数据是一个复杂的json字符串,嵌套了很多内容,而且还有图片的base64字...原创 2020-02-28 10:22:38 · 1250 阅读 · 0 评论 -
Kettle:Job Entry Specific FAQ
Available FAQ for job entries:Shell Job Entry FAQHow to check for the return code of a shell script/batch file?The Shell script considers a return code of 0 to mean success, anything else is fail...原创 2019-11-30 14:35:33 · 223 阅读 · 0 评论 -
Kettle使用过程中遇到的问题(持续更新)
一、Oracle相关问题1、连接Oracle报错(暂未解决)IO错误:远程主机强迫关闭了一个现有的连接,authentication lapse 0 ms问题分析:我用plsql连接 报了一个 ora-12547 tns 丢失连接,上网查了一下 是oracle监听没起来。我在本地可以登上 但是到虚拟机上 使用的是映射的ip登录 就报了一个tns丢失连接。其他数据库映...原创 2019-11-30 12:55:16 · 3440 阅读 · 0 评论