Loading Data Into Hive From File By ODI 12c

本文详细介绍如何使用ODI工具将文本文件中的数据导入到Hive数据仓库中。包括在Hive上创建目标表的DDL语句、通过ODI构造映射关系的具体步骤以及执行映射的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文介绍如何将文本文件中的数据通过ODI导入Hive数据仓库。

一、Hive上创建目标表

1.1 源表定义

CREATE TABLE EXAM_SCORE
(
  ID            NUMBER(4),
  AREA_ID       NUMBER(1),
  EXAM_INFO_ID  NUMBER(3),
  STU_SEQUENCE  NUMBER(12),
  SCORE         NUMBER(3),
  SUBJECT_ID    NUMBER(3),
  CLASS_ID      NUMBER(6)
)

1.2 目标表定义

CREATE TABLE hivedb.exam_score
(
  ID            string,
  AREA_ID       string,
  EXAM_INFO_ID  string,
  STU_SEQUENCE  string,
  SCORE         string,
  SUBJECT_ID    string,
  CLASS_ID      string
);

二、构造映射关系

2.1 新建Hive模型

如下图所示,输入相关参数后,先保存,然后点击“Reverse Engineer”,同步表结构。
Loading Data Into Hive From File By ODI 12c

2.2 新建File模型

Definition选项栏:
Loading Data Into Hive From File By ODI 12c
Files选项栏:
Loading Data Into Hive From File By ODI 12c
Attributes选项栏:
Loading Data Into Hive From File By ODI 12c

2.3 创建映射关系图

拖动文件模型和hive模型,组成下图中的映射关系:
Loading Data Into Hive From File By ODI 12c
其中,LKM选择“LKM File to Hive LOAD DATA.GLOBAL”,如果文件在本地,则设置“FILE_IS_LOCAL”的值为“True”,如下图:
Loading Data Into Hive From File By ODI 12c
其中、IKM选择“IKM Hive Incremental Update.GLOBAL”,如果要清空表中现有数据,则设置TRUNCATE的值为True即可,如下图:
Loading Data Into Hive From File By ODI 12c
最后保存所有更改。

2.4 执行映射

Loading Data Into Hive From File By ODI 12c
执行结果如下图:
Loading Data Into Hive From File By ODI 12c

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值