
ETL
inrgihc
这个作者很懒,什么都没留下…
展开
-
Oracle/MySQL/PostgreSQL数据库获取表的主键及字段信息(整理)
一、获取表的主键字段1、Oracle数据库SELECT COLUMN_NAME AS column_name FROM user_cons_columns cu, user_constraints au WHERE cu.constraint_name = au.constraint_name AND au.OWNER = 'TANG' ...原创 2020-04-30 00:26:30 · 1665 阅读 · 1 评论 -
Oralce/MySQL/SQLServer/PostgreSQL 多种数据类型建表和插入数据脚本(测试专用)
一、建表create table t_single_char(id int , data_desc CHAR(20) , PRIMARY KEY (id) )/create table t_single_varchar(id int , data_desc VARCHAR(100) , PRIMARY KEY (id) )/create table t_single_varcha...原创 2020-04-13 19:16:32 · 314 阅读 · 0 评论 -
Oralce/MySQL/SQLServer/PostgreSQL 数据类型与JAVA类型对照表(整理)
一、Oracle数据类型JDBC对照数据类型 JDBC类型(java.sql.Types) 标准的Java类型 Oracle扩展的Java类型 1.0标准的JDBC类型: CHAR java.sql.Types.CHAR java.lang.String ...原创 2020-04-15 23:15:19 · 1033 阅读 · 0 评论 -
Oracle数据库日常维护相关命令整理
1、表drop(1)回收站drop后的表被放在回收站(user_recyclebin)里,而不是直接删除掉。这样,回收站里的表信息就可以被恢复,或彻底清除。通过查询回收站user_recyclebin获取被删除的表信息,如下:SELECT * from user_recyclebin若要彻底删除表(不放入回收站),则使用语句:drop table <table_name&g...原创 2020-04-14 11:14:14 · 276 阅读 · 0 评论 -
MySQL数据库错误码大全(工具查询)
OS error code 1: Operation not permitted OS error code 2: No such file or directory OS error code 3: No such process OS error code 4: Interrupted system call OS error code 5: I...转载 2020-04-10 14:57:45 · 9819 阅读 · 0 评论 -
MySQL的MyISAM引擎表级锁规则与分析
一、MySQL表的存储引擎查看mysql可以使用如下查询判断一个表是否使用MyISAM存储引擎:SELECT * FROM information_schema.tables WHERE table_schema='库名' AND table_name='表名';二、MySQL表是否被加锁查看使用如下SQL语句:show OPEN TABLES where In_use...原创 2020-04-10 12:46:33 · 253 阅读 · 0 评论 -
kettle工具使用教程与API开发总结整理
一、kettle介绍Kettle 中文名称叫水壶,一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。Kettle提供有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。二、内容概要 Kettle一些常用的基本组件的使用 Kettle...原创 2020-04-05 22:06:45 · 1898 阅读 · 0 评论 -
《StreamSets3.7.2》安装及Mysql数据同步入门示例
一、安装部署1.1. jar包下载:https://archives.streamsets.com/datacollector/3.7.2/tarball/streamsets-datacollector-core-3.7.2.tgz[maxiu@zhumei00 softwares]$ wget --no-check-certificate https://archives.str...转载 2020-03-19 16:43:30 · 676 阅读 · 0 评论 -
基于全量比对计算同一张表前后两次全量快照数据的变化量
一、说在前面的话一些涉及数据分析处理的系统,常常需要将先将业务系统中关系数据库内的数据(离线)抽取到自己的数据库中(当前比较流行的开源MPP数据库如Greenplum)以便进行后续处理,鉴于每次进行全量数据抽取,全量分析处理代价较大,需要计算同一张表前后两次的全量数据计算变化量,这种变化量数据包括insert、update、delete等,后续分析处理只针对这些变化量数据进行,由于业务系统中变化...原创 2020-05-28 21:30:43 · 3796 阅读 · 0 评论 -
关系数据库Oracle、MySQL、PostgreSQL的SQL语法的差异(整理中)
1、SQL结尾的分号问题 MySQL数据库的SQL允许使用英文分号结尾 Oracle数据库的SQL不允许使用英文分号结尾 PostgreSQL数据库的SQL不允许使用英文分号结尾 2、SQL中的引号问题 MySQL数据库的SQL中使用单撇号` Oracle数据库的SQL中使用双引号” PostgreSQL数据库的SQL中使用双引号” 3、...原创 2019-12-27 23:49:47 · 2450 阅读 · 0 评论 -
异构数据库结构与数据同步工具dbswitch
一、背景 开源MPP数据库Greenplum是一种基于PostgreSQL的分布式数据库,其采用shared-nothing架构,其架构专门用于管理大规模分析数据仓库,Greenplum主要定位在OLAP领域,利用Greenplum MPP数据库做大数据计算或分析平台非常适合,典型的就是数据仓库系统。 虽然Greenplum支持JDBC 、libpg、copy、gpfdi...原创 2020-05-29 22:32:24 · 10958 阅读 · 3 评论