【YashanDB知识库】DataX迁移Hive到崖山分布式

概述

本文主要介绍通过Datax实现Hive数据迁移到崖山分布式。

环境

源Hive版本：3.1.3

目标YashanDB版本：23.2.3.100

建表脚本

-- hive CREATE TABLE IF NOT EXISTS product(     product_no char(5),     product_name varchar(30),     cost double,     price duble ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' STORED AS textfile; -- yashandb CREATE TABLE product (     product_no CHAR(5),     product_name VARCHAR2(30),     cost NUMBER,     price NUMBER );

hive表和DataX数据类型映射

DataX 内部类型	Hive表 数据类型
Long	TINYINT,SMALLINT,INT,BIGINT
Double	FLOAT,DOUBLE
String	String,CHAR,VARCHAR,STRUCT,MAP,ARRAY,UNION,BINARY
Boolean	BOOLEAN
Date	Date,TIMESTAMP

hive同步到崖山job配置

{     "job": {         "content": [             {                 "reader": {                     "name":"hdfsreader",                     "parameter":{                         "column":[                    &nb